我正在查看crfsuitepython文档中提供的示例代码,其中包含以下用于定义特性的代码
def word2features(sent, i):
word = sent[i][0]
postag = sent[i][1]
features = [
'bias',
'word.lower=' + word.lower(),
'word[-3:]=' + word[-3:],
'word[-2:]=' + word[-2:],
'word.isupper=%s' % word.isupper(),
'word.istitle=%s' % word.istitle(),
'word.isdigit=%s' % word.isdigit(),
'postag=' + postag,
'postag[:2]=' + postag[:2],
]
if i > 0:
word1 = sent[i-1][0]
postag1 = sent[i-1][1]
features.extend([
'-1:word.lower=' + word1.lower(),
'-1:word.istitle=%s' % word1.istitle(),
'-1:word.isupper=%s' % word1.isupper(),
'-1:postag=' + postag1,
'-1:postag[:2]=' + postag1[:2],
])
else:
features.append('BOS')
if i < len(sent)-1:
word1 = sent[i+1][0]
postag1 = sent[i+1][1]
features.extend([
'+1:word.lower=' + word1.lower(),
'+1:word.istitle=%s' % word1.istitle(),
'+1:word.isupper=%s' % word1.isupper(),
'+1:postag=' + postag1,
'+1:postag[:2]=' + postag1[:2],
])
else:
features.append('EOS')
return features
我知道isupper()等功能可以是0或1,但对于word[-2:]等属于字符的功能,它们是如何转换为数字术语的
CRF根据输入数据序列进行训练,以了解从一种状态(标签)到另一种状态的转换。为了实现这种算法,我们需要定义考虑不同转换的特征。在下面的函数word2features()中,我们将每个单词转换为描述以下属性或特征的特征词典:
我们还附加与上一个和下一个单词或标记相关的属性,以确定句首(BOS)或句尾(EOS)
相关问题 更多 >
编程相关推荐