通过单词嵌入使用BERT生成相似单词或同义词

2024-10-01 15:41:17 发布

您现在位置:Python中文网/ 问答频道 /正文

我们都知道BERT模型用于单词嵌入的能力,它可能比word2vec和任何其他模型都要好

我想在BERT单词嵌入上创建一个模型,以生成同义词或类似单词。就像我们在Gensim{}中所做的一样。我想将Gensimmodel.most_similar()方法创建到BERT单词嵌入中

我对它做了很多研究,似乎这是可能的,但问题是它只是以数字的形式显示嵌入,无法从中获得实际的单词。有人能帮我吗


Tags: 方法模型most数字能力word2vec单词形式
1条回答
网友
1楼 · 发布于 2024-10-01 15:41:17
  1. 伯特使用与单词不完全相同的标记。因此,一个单词可能不仅仅是一个标记

  2. Bert针对上下文中的其他令牌为每个令牌生成嵌入向量

  3. 您可以选择一个预训练的bert模型,并向它们提供单个单词获取输出并对它们进行平均,这样您就可以为一个单词获取单个向量

  4. 获取单词列表,计算每个单词的向量

  5. 计算向量距离,以便从距离中获得相似的单词

相关问题 更多 >

    热门问题