TensorF中高效的动态词嵌入

Question

我在想，我应该去看看动态流。也就是说，每个单词在每个时间段（t）都有不同的嵌入。基本上，我对跟踪词义的动态感兴趣。在

我在考虑修改skip gram word2vec的目标，但是还有一个“t”维，我需要在可能性中求和。嵌入词在时间上的嵌入函数也在时间上平滑地演化。在

举个例子，想想本文第14页的目标函数（第3.2节）（http://publications.lib.chalmers.se/records/fulltext/228927/228927.pdf），只是为了使事情更简单，我使用了l2惩罚而不是不可微l1

我可以在R中完成这个任务，但它不能扩展。所以，我在考虑使用TensorFlow（我是一个新手）。所以，任何帮助都是非常感谢的！在