Python中文
首页
教程
问答
标签
搜索
登录
注册
什么是最好的?添加、连接或平均字向量?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在研究一个递归语言模型。为了学习可用于初始化语言模型的单词嵌入,我使用了gensim的word2vec模型。 经过训练,word2vec模型为词汇表中的每个单词保存两个向量:单词嵌入(输入/隐藏矩阵的行)和上下文嵌入(隐藏/输出矩阵的列)。</p> <p>如<a href="https://stackoverflow.com/questions/36731784/wordvectors-how-to-concatenate-word-vectors-to-form-sentence-vector">this post</a>中所述,至少有三种常用方法组合这两个嵌入向量:</p> <ol> <li>对每个词的上下文和词向量求和</li> <li>求和平均值</li> <li>连接上下文和词向量</li> </ol> <p>然而,我找不到关于最佳策略的合适的论文或报告。所以我的问题是:</p> <ol> <li>是否有一个共同的解决方案,是求和,平均或连接向量?</li> <li>还是最好的方法完全取决于所讨论的任务?如果是,那么什么策略最适合单词级语言模型?</li> <li>为什么要合并向量呢?为什么不为每个单词使用“原始”单词嵌入,即那些包含在输入和隐藏神经元之间的权重矩阵中的单词。</li> </ol> <p>相关(但未回答)问题:</p> <ul> <li><a href="https://stackoverflow.com/questions/42119824/word2vec-summing-concatenate-inside-and-outside-vector?rq=1">word2vec: Summing/concatenate inside and outside vector</a></li> <li><a href="https://stackoverflow.com/questions/46065773/why-we-use-input-hidden-weight-matrix-to-be-the-word-vectors-instead-of-hidden-o?rq=1">why we use input-hidden weight matrix to be the word vectors instead of hidden-output weight matrix?</a></li> </ul>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您应该至少阅读一次<a href="https://www.mdpi.com/2076-3417/8/9/1589" rel="nofollow noreferrer">this</a>研究工作,以获得使用不同代数运算符组合单词嵌入的完整概念。这是我的研究。</p> <p>在本文中,您还可以看到组合词向量的其他方法。</p> <p><strong>简而言之,L1规范化平均词向量和词和是很好的表示。</strong></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
VirtualEnvRapper错误:路径python2(来自python=python2)不存在
10 回答
virtualenvs上的pyinstaller,没有名为导入错误的模块
7 回答
virtualenvs是否可以退回到用户包而不是系统包?
8 回答
virtualenvwrapper CentOS7
5 回答
virtualenvwrapper IOError:[Errno 13]权限被拒绝
1 回答
virtualenvwrapper mkproject和shell在windows中的启动问题?
4 回答
virtualenvwrapper mkvirtualenv不工作但没有错误
1 回答
Virtualenvwrapper python bash
10 回答
virtualenvwrapper:“workon”何时更改到项目目录?
8 回答
virtualenvwrapper:mkvirtualenv可以工作,但是rmvirtualenv返回bash:没有这样的文件或目录
1 回答
virtualenvwrapper:virtualenv信息存储在哪里?
10 回答
virtualenvwrapper:命令“python设置.pyegg_info“失败,错误代码为1
10 回答
virtualenvwrapper:如何将mkvirtualenv的默认Python版本/路径更改为ins
5 回答
Virtualenvwrapper:模块“pkg_resources”没有属性“iter_entry_points”
6 回答
Virtualenvwrapper:没有名为virtualenvwrapp的模块
5 回答
Virtualenvwrapper.bash_profi的正确设置
10 回答
Virtualenvwrapper.hook:权限被拒绝
6 回答
virtualenvwrapper.sh:fork:资源暂时不可用Python/Djang
2 回答
Virtualenvwrapper.shlssitepackages命令不工作
8 回答
Virtualenvwrapper.sh函数在bash sh中不可用
8 回答