Python中文
首页
教程
问答
标签
搜索
登录
注册
什么是最好的?添加、连接或平均字向量?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在研究一个递归语言模型。为了学习可用于初始化语言模型的单词嵌入,我使用了gensim的word2vec模型。 经过训练,word2vec模型为词汇表中的每个单词保存两个向量:单词嵌入(输入/隐藏矩阵的行)和上下文嵌入(隐藏/输出矩阵的列)。</p> <p>如<a href="https://stackoverflow.com/questions/36731784/wordvectors-how-to-concatenate-word-vectors-to-form-sentence-vector">this post</a>中所述,至少有三种常用方法组合这两个嵌入向量:</p> <ol> <li>对每个词的上下文和词向量求和</li> <li>求和平均值</li> <li>连接上下文和词向量</li> </ol> <p>然而,我找不到关于最佳策略的合适的论文或报告。所以我的问题是:</p> <ol> <li>是否有一个共同的解决方案,是求和,平均或连接向量?</li> <li>还是最好的方法完全取决于所讨论的任务?如果是,那么什么策略最适合单词级语言模型?</li> <li>为什么要合并向量呢?为什么不为每个单词使用“原始”单词嵌入,即那些包含在输入和隐藏神经元之间的权重矩阵中的单词。</li> </ol> <p>相关(但未回答)问题:</p> <ul> <li><a href="https://stackoverflow.com/questions/42119824/word2vec-summing-concatenate-inside-and-outside-vector?rq=1">word2vec: Summing/concatenate inside and outside vector</a></li> <li><a href="https://stackoverflow.com/questions/46065773/why-we-use-input-hidden-weight-matrix-to-be-the-word-vectors-instead-of-hidden-o?rq=1">why we use input-hidden weight matrix to be the word vectors instead of hidden-output weight matrix?</a></li> </ul>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我在斯坦福大学“自然语言处理深度学习”讲座(2016年3月,第2课)中找到了答案。有空<a href="https://www.youtube.com/watch?v=aRqn8t1hLxs" rel="nofollow noreferrer">here</a>。在第46分钟,Richard Socher指出,通常的方法是平均两个词向量。</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
拆分()错误:列表索引超出范围
3 回答
拆分(分解)数据帧字符串条目以分隔行
8 回答
拆分(分解)数据帧字符串条目以分隔行。多列
10 回答
拆分/提取系列索引中的字符串并作为DataFram展开
6 回答
拆分/标识字符串末尾的数字,该数字没有固定的字符数
4 回答
拆分2列CSV并保存到不同的文件
3 回答
拆分aconftest.py分成几个较小的conftestlike部分
2 回答
拆分apyspark.sql基于一列将数据帧放入多个表中
6 回答
拆分ascii/unicode字符串
2 回答
拆分a稀疏稀疏矩阵进入列车和tes
4 回答
拆分B的可能性
10 回答
拆分char上的查询字符串以获取不同的参数;Python:
8 回答
拆分csv fi中显示的图表
5 回答
拆分csv fi的列
7 回答
拆分CSV-fi需要Regex帮助
10 回答
拆分csv(和多选字段)以获取要导出到xlsx工作表的字段计数,我会不断获取“[blank]值和nan
3 回答
拆分CSV文件时出现标题问题[Python 3]
8 回答
拆分Cython代码后无法转换为Python对象
5 回答
拆分Dataframe,让线程处理每个部分,然后合并Datafram
2 回答
拆分dataframe列并删除额外变量
10 回答