如何自动识别同一篇论文的引文？

Question

考虑引用同一篇论文的三种方法：

cite1 = "Yoshua Bengio, Réjean Ducharme, Pascal Vincent and Christian Jauvin, A Neural Probabilistic Language Model (2003), in: Journal of Machine Learning Research, 3(1137--1155)"

cite2 = "Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin. (2003) A Neural Probabilistic Language Model"

cite3 = "Bengio Y, Ducharme R, Vincent P, Jauvin C. (2003) A Neural Probabilistic Language Model"

自动识别同一篇论文的引文的一种简单方法是使用Python标准库中的difflib模块计算这些引文的相似性：

from difflib import SequenceMatcher as smatch
def similar(x, y): return smatch(None, x.strip(), y.strip()).ratio()

similar(cite1, cite2)    # 0.721
similar(cite1, cite3)    # 0.553
similar(cite2, cite3)    # 0.802

不幸的是，相似性度量的范围从0.553到0.802，所以不清楚应该设置什么阈值。如果门槛太低，那么不同论文的引用就可能被误认为是同一篇论文。但如果门槛太高，我们就会错过一些引文。你知道吗

有更好的解决方案吗？你知道吗

Answer 1

重要的是要考虑什么使引文独特？

根据你的例子，作者、文章标题和发表年份的组合构成了一个独特的引文。你知道吗

这意味着您可以解析这些名称，然后比较它们的接近程度（因为第三个示例列出的名称不同）。解析标题，它应该匹配100%。解析年份，也应该是100%匹配。你知道吗