神经机器翻译中的加权加权

Question

我想把解码器的embedding层和next_word预测层的权重联系起来。嵌入尺寸设置为300，解码器的隐藏尺寸设置为600。NMT中目标语言的词汇量为50000，因此嵌入权重维为50000 x 300，预测下一个单词的线性层的权重为50000 x 600。在

那么，我该怎么系呢？在这种情况下，实现配重的最佳方法是什么？在

Answer 1

权重绑定：在输入到嵌入层和输出到softmax层之间共享权重矩阵；也就是说，我们只使用一个权重矩阵，而不是使用两个权重矩阵。这样做的直觉是为了解决过度拟合的问题。因此，权重捆绑可以看作是一种正则化形式。在

这已在word language model in PyTorch examples中实现