如何通过知道python中单词的偏移量从文本文件中获取原始句子？

Question

我是python新手，我想知道是否有一种通过知道单词的偏移量从文本文件中找到原始句子的有效方法。假设我有一个test.txt文件，如下所示：

test.txt

Ceci est une wheat phrase corn.
Ceci est une deuxième phrase barley.
This is the third wheat word.

假设我知道单词“小麦”的偏移量是[13,18]

我的代码如下所示：

import nltk
from nltk.tokenize import word_tokenize

with open("test.txt") as f:
    list_phrase = f.readlines()
    f.seek(0)
    contents = f.read()
    for index, phrase in enumerate(list_phrase):
        j = word_tokenize(phrase)
        if contents[13:18] in j:
            print(list_phrase[index])

我的代码输出将打印两个句子，即（“Ceci est une小麦短语玉米”和“这是第三个小麦单词”）

如何通过知道单词的偏移量来准确地检测单词的真实短语

请注意，我考虑的偏移量在多个句子之间继续（本例中为两个句子）。例如，“大麦”一词的偏移量应为[61,67]

上述印刷品的预期输出应为：

Ceci est une wheat phrase corn.

我们知道它的偏移量是[13,18]

对此，任何帮助都将不胜感激。非常感谢你

Answer 1

如果您已经知道单词的位置，那么标记化不是您想要做的。通过标记化，您可以将序列（您知道其位置）更改为单词列表，其中您不知道哪个元素是您的单词

因此，你应该把它留在短语上，只需将短语的部分与你的单词进行比较：

with open("test.txt") as f:
    list_phrase = f.readlines()
    f.seek(0)
    contents = f.read()
    for index, phrase in enumerate(list_phrase):
        if phrase[13:18].lower() == "wheat": ## .lower() is only necessary if the word might be in upper case.
            print(list_phrase[index])

这将只返回wheat位于[13:18]位置的句子。所有其他小麦品种都不会被发现