一组实用程序,用于训练概率上下文无关文法并用它们为新句子评分。
kasami的Python项目详细描述
用于训练和应用概率上下文无关文法到
文本的库一种有效的上下文无关语言识别和语法分析算法(科学2号)。夏威夷大学电气工程系。
>示例使用
>
```python
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>的重新排列分析器
bllip廑rrp=重新对parser.fetch廑u and廑u load('WSJ-PTB3')
>;>bllip廑u parse=lambda s:bllip.normalize廑tree(bllip廑rrp.parse[0].ptb廑parse)
>;
>;tree=bllip廑parse(“我是个小茶壶”)
>;>打印(树)
(S1(S(NP(PRP‘I’))(VP(VBP‘am’)(NP(DT‘a’)(JJ‘little‘小’)(NN‘茶壶’))
>gt;打印(tree.format(深度=1))
(S1
(S
(NP
(PRP‘I’)
(VP
(VBP‘am’)
(NP
(NP
(DT‘a’)
(JJ‘little’)
(S1
(S1
(S/>(S
(NP
(NP
(p‘a’)(DT/>(NN‘茶壶’)
)
)
)
)
)
>;>>;
>>>>对于树中的生产:
…打印(str(production))
…
(s1 s)
(s np vp)
(np prp)
(prp‘i’)
(vp vbp np)
(vbp‘am’)
(np dt jj nn)
(dt‘a’)
(jj‘little’)
(nn‘teapot’)
>;;句子=[“我是个小茶壶”,
…这是我的把手“,
…”这是我的嘴“,
…”当我热血沸腾的时候,我只会大叫一声,把我翻过来倒出来,
我是一个非常特别的锅,
是真的“,
…”下面是我能做的一个例子“,
…”我可以把我的把手变成一个喷口“,
…”给我小费,然后把我倒出来“]
>;
>;
>;
>;>teapot_grammar=treescorer.from_tree_bank(bllip_parse(s)for s in句子)
>;
>;
>;>teapot_grammar.score(bllip_parse(“这里有一个小茶壶”)
-9.392661928770137
>;茶壶语法。分数(bllip廑u parse(“它是我的手柄”))
-10.296301543090733
>;>;茶壶语法。分数(bllip廑u parse(“我是壶嘴”)
-10.40166205874856
>;>;茶壶语法。分数(bllip廑u parse(“你的茶壶是同性恋”)
-12.96352974967269
>茶壶语法。分数(bllip parse(“你妈妈的茶壶是asldasnldansldal”))
-19.424997926026403
`````
并通过https://github.com/aetilley获得大量信息
文本的库一种有效的上下文无关语言识别和语法分析算法(科学2号)。夏威夷大学电气工程系。
>示例使用
>
```python
>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>的重新排列分析器
bllip廑rrp=重新对parser.fetch廑u and廑u load('WSJ-PTB3')
>;>bllip廑u parse=lambda s:bllip.normalize廑tree(bllip廑rrp.parse[0].ptb廑parse)
>;
>;tree=bllip廑parse(“我是个小茶壶”)
>;>打印(树)
(S1(S(NP(PRP‘I’))(VP(VBP‘am’)(NP(DT‘a’)(JJ‘little‘小’)(NN‘茶壶’))
>gt;打印(tree.format(深度=1))
(S1
(S
(NP
(PRP‘I’)
(VP
(VBP‘am’)
(NP
(NP
(DT‘a’)
(JJ‘little’)
(S1
(S1
(S/>(S
(NP
(NP
(p‘a’)(DT/>(NN‘茶壶’)
)
)
)
)
)
>;>>;
>>>>对于树中的生产:
…打印(str(production))
…
(s1 s)
(s np vp)
(np prp)
(prp‘i’)
(vp vbp np)
(vbp‘am’)
(np dt jj nn)
(dt‘a’)
(jj‘little’)
(nn‘teapot’)
>;;句子=[“我是个小茶壶”,
…这是我的把手“,
…”这是我的嘴“,
…”当我热血沸腾的时候,我只会大叫一声,把我翻过来倒出来,
我是一个非常特别的锅,
是真的“,
…”下面是我能做的一个例子“,
…”我可以把我的把手变成一个喷口“,
…”给我小费,然后把我倒出来“]
>;
>;
>;
>;>teapot_grammar=treescorer.from_tree_bank(bllip_parse(s)for s in句子)
>;
>;
>;>teapot_grammar.score(bllip_parse(“这里有一个小茶壶”)
-9.392661928770137
>;茶壶语法。分数(bllip廑u parse(“它是我的手柄”))
-10.296301543090733
>;>;茶壶语法。分数(bllip廑u parse(“我是壶嘴”)
-10.40166205874856
>;>;茶壶语法。分数(bllip廑u parse(“你的茶壶是同性恋”)
-12.96352974967269
>茶壶语法。分数(bllip parse(“你妈妈的茶壶是asldasnldansldal”))
-19.424997926026403
`````
并通过https://github.com/aetilley获得大量信息