具有先进的神经网络语言模型的命令行接口
lm-zoo的Python项目详细描述
语言模型动物园
语言模型动物园（LanguageModelZoo）是一个最先进的开源资源库
语言模型，旨在支持黑盒访问模型预测和
陈述。它提供了命令行工具lm-zoo，这是一个标准
与语言模型交互的接口。在
您可以使用lm-zoo来
- 在单词级别计算语言模型预测
- 提取标记级的意外数据（通常用于心理语言学 实验），以及
- 根据语言模型的特定标记化对语料库进行预处理 标准。在
快速链接：
入门
从这个存储库运行语言模型需要Docker。在
您可以通过pip安装lm-zoo：
$ pip install lm-zoo
列出可用的语言模型：
^{pr2}$根据语言模型的标准标记一些文本：
$ wget https://cpllab.github.io/lm-zoo/metamorphosis.txt -O metamorphosis.txt
$ lm-zoo tokenize gpt2 metamorphosis.txt
Pulling latest Docker image for cpllab/language-models:gpt2.
One Ġmorning , Ġwhen ĠGreg or ĠSam sa Ġwoke Ġfrom Ġtroubled Ġdreams , Ġhe Ġfound Ġhimself Ġtransformed Ġin Ġhis Ġbed Ġinto Ġa Ġhorrible Ġver min .
He Ġlay Ġon Ġhis Ġarmour - like Ġback , Ġand Ġif Ġhe Ġlifted Ġhis Ġhead Ġa Ġlittle Ġhe Ġcould Ġsee Ġhis Ġbrown Ġbelly , Ġslightly Ġdom ed Ġand Ġdivided Ġby Ġar ches Ġinto Ġstiff Ġsections .
The Ġbed ding Ġwas Ġhardly Ġable Ġto Ġcover Ġit Ġand Ġseemed Ġready Ġto Ġslide Ġoff Ġany Ġmoment .
...
获取文本数据的令牌级意外：
$ lm-zoo get-surprisals ngram metamorphosis.txt
sentence_id token_id token surprisal
1 1 one 7.76847
1 2 morning 9.40638
1 3 , 1.05009
1 4 when 7.08489
1 5 gregor 18.8963
1 6 <unk> 4.27466
1 7 woke 19.0607
1 8 from 10.3404
1 9 troubled 17.478
1 10 dreams 10.671
1 11 , 3.39374
1 12 he 5.99193
1 13 found 8.07358
1 14 himself 2.92718
1 15 transformed 16.7328
1 16 in 5.32057
1 17 his 7.26454
1 18 bed 9.78166
1 19 into 8.90954
1 20 a 3.72355
1 21 horrible 14.2477
1 22 <unk> 3.56907
1 23 . 3.90242
1 24 </s> 22.8395
2 1 he 4.43708
2 2 lay 14.1721
...
有关详细信息，请参阅我们的Quickstart tutorial。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
