简单的NLTK考试中的重要错误

Question

我是Python和NLTK的新手 当我在Python控制台中测试以下行时

import nltk.data
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
text ="toto. titi. tutu"
tokens = tokenizer.tokenize(text)
print(tokens)

我得到了我期望的。但是当我从一个文件执行这些行时，例如使用命令行> python tokenize.py，我会得到错误：

^{pr2}$

我被困在这个问题上，找不到解决的办法。提前感谢任何有用的建议。在

Answer 1

这里的问题是您将脚本命名为标记化.py。尝试将文件重命名为类似于my的文件_标记器.py。实际上，当你使用

import tokenize

它所做的是尝试导入当前文件本身，因此您将得到错误。在

Answer 2

您需要为脚本命名，而不是tokenize.py