我试着找出一个英语单词的基本英语单词,这个单词是从它的基本形式修改而来的。这个问题是在这里提出来的,但是我没有找到一个正确的答案,所以我试着这样说。我从NLTK包中尝试了2个词干分析器和1个柠檬汁分析器,它们是波特词干分析器、雪球词干分析器和wordnet柠檬汁分析器。
我试过这个密码:
from nltk.stem.porter import PorterStemmer
from nltk.stem.snowball import SnowballStemmer
from nltk.stem.wordnet import WordNetLemmatizer
words = ['arrival','conclusion','ate']
for word in words:
print "\n\nOriginal Word =>", word
print "porter stemmer=>", PorterStemmer().stem(word)
snowball_stemmer = SnowballStemmer("english")
print "snowball stemmer=>", snowball_stemmer.stem(word)
print "WordNet Lemmatizer=>", WordNetLemmatizer().lemmatize(word)
这是我得到的输出:
Original Word => arrival
porter stemmer=> arriv
snowball stemmer=> arriv
WordNet Lemmatizer=> arrival
Original Word => conclusion
porter stemmer=> conclus
snowball stemmer=> conclus
WordNet Lemmatizer=> conclusion
Original Word => ate
porter stemmer=> ate
snowball stemmer=> ate
WordNet Lemmatizer=> ate
但我想要这个输出
Input : arrival
Output: arrive
Input : conclusion
Output: conclude
Input : ate
Output: eat
我怎样才能做到这一点?有什么工具可以使用吗?这叫做形态分析。我知道这一点,但必须有一些工具已经在实现这一点。感谢您的帮助:)
第一次编辑
我试过这个密码
import nltk
from nltk.stem.wordnet import WordNetLemmatizer
from nltk.tokenize import word_tokenize
from nltk.corpus import wordnet as wn
query = "The Indian economy is the worlds tenth largest by nominal GDP and third largest by purchasing power parity"
def is_noun(tag):
return tag in ['NN', 'NNS', 'NNP', 'NNPS']
def is_verb(tag):
return tag in ['VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ']
def is_adverb(tag):
return tag in ['RB', 'RBR', 'RBS']
def is_adjective(tag):
return tag in ['JJ', 'JJR', 'JJS']
def penn_to_wn(tag):
if is_adjective(tag):
return wn.ADJ
elif is_noun(tag):
return wn.NOUN
elif is_adverb(tag):
return wn.ADV
elif is_verb(tag):
return wn.VERB
return wn.NOUN
tags = nltk.pos_tag(word_tokenize(query))
for tag in tags:
wn_tag = penn_to_wn(tag[1])
print tag[0]+"---> "+WordNetLemmatizer().lemmatize(tag[0],wn_tag)
在这里,我试着通过提供适当的标签来使用wordnet lemmatizer。输出如下:
The---> The
Indian---> Indian
economy---> economy
is---> be
the---> the
worlds---> world
tenth---> tenth
largest---> large
by---> by
nominal---> nominal
GDP---> GDP
and---> and
third---> third
largest---> large
by---> by
purchasing---> purchase
power---> power
parity---> parity
不过,像“到达”和“结论”这样的词不会用这种方法处理。有什么解决办法吗?
尝试
word_stemmer
包,从here克隆它并执行pip install -e word_forms
。在您的例子中,您希望从一个单词形式中得到一个verb形式。
好吧,那么。。。“吃”这个词我想你是在找NodeBox::Linguistics。
我不完全明白为什么你想要动词或“到达”,而不是“结论”。
相关问题 更多 >
编程相关推荐