python中两个字符串语义相似度的求法

Question

我不想找出两个字符串之间的相似性，我只想找出两个字符串意义的相似性

1. 超线程有哪些类型
2. 超线程有什么分类吗

应该有相似性。到目前为止，我尝试了余弦相似性和词移动距离，但我没有得到一些字符串的准确结果

Answer 1

这是一件很难做到的事。这也很难知道，你的意思是“准确”的语义相似性之间的两个短语。你需要找到一个“好”的指标来做到这一点

无论如何，如果你有一个有限的上下文（你不必做一个通用的语义相似计算器），一个非常基本的方法可以是构建一个文本分类器（使用机器学习），在其中你定义你想要使用的主要类。你知道吗

例如，对于示例短语，可以有两个文本类：

1. 询问超阅读

2. 询问食物

而不是用大量短语训练模型，模型输出示例短语的概率如下：

1. 什么是超线程类型：

   • 询问超线程0.9

   • 询问食物0.5

2. “超线程中是否有任何类别”

   • 询问超线程0.8

   • 询问食物0.4

这两个短语都被归类为“询问超阅读”（因为它们在这些课程中得分较高），然后人们可以假设它们是相似的。人们也可以利用概率得分来做一些更有说服力的事情（利用得分差异等）