我想我标题的答案通常是去看文献,但我浏览了一遍NLTK book,但它没有给出答案。我对Python有点陌生。
我有一堆.txt
文件,我希望能够使用NLTK为语料库nltk_data
提供的语料库函数。
我试过PlaintextCorpusReader
但是我不能再继续了:
>>>import nltk
>>>from nltk.corpus import PlaintextCorpusReader
>>>corpus_root = './'
>>>newcorpus = PlaintextCorpusReader(corpus_root, '.*')
>>>newcorpus.words()
如何使用punkt分割newcorpus
句子?我试过使用punkt函数,但是punkt函数不能读取PlaintextCorpusReader
类?
你能告诉我如何将分段的数据写入文本文件吗?
经过几年的研究,以下是最新的教程
如何创建包含文本文件目录的NLTK语料库?
其主要思想是利用nltk.corpus.reader包。如果您有一个英文文本文件目录,最好使用PlaintextCorpusReader。
如果您的目录如下所示:
只要使用这些代码行,就可以得到一个语料库:
注意:使用默认的
nltk.tokenize.sent_tokenize()
和nltk.tokenize.word_tokenize()
将文本拆分成句子和单词,这些函数是为英语构建的,它可能不适用于所有语言。下面是创建测试文本文件的完整代码,以及如何使用NLTK创建语料库,以及如何在不同级别访问语料库:
最后,要读取文本目录并用其他语言创建NLTK语料库,必须首先确保有一个python可调用的单词标记化模块和句子标记化模块,它们接受string/basestring输入并生成这样的输出:
我认为
PlaintextCorpusReader
已经用punkt标记器分段了输入,至少如果您的输入语言是英语。PlainTextCorpusReader's constructor
您可以向读取器传递单词和句子标记器,但对于后者,默认值已经是
nltk.data.LazyLoader('tokenizers/punkt/english.pickle')
。对于单个字符串,将按如下方式使用标记器(解释为here,请参阅第5节中的punkt标记器)。
相关问题 更多 >
编程相关推荐