nlpcube 0.1.0.7

新闻

[2019年4月15日]-我们正在发布1.1版模型-检查所有supported languages below。1.0和1.1模型都在相同的UD2.2 corpus上进行训练；但是，1.1模型不使用向量嵌入，因此减少了使用它们所需的磁盘空间和时间。有些语言的准确度略有提高，有些则有所下降。默认情况下，NLP多维数据集将使用最新（此时）的1.1模型。

要使用旧的1.0模型，只需在load调用中指定此版本：cube.load("en", 1.0)（en用于英语或任何其他语言代码）。这将下载（如果尚未下载）并使用this特定的模型版本。任何你想使用的语言/版本都一样。

如果已经安装了NLP多维数据集，希望使用较新的1.1模型，请键入cube.load("en", 1.1)或cube.load("en", "latest")以自动下载它们。之后，调用cube.load("en")而不使用版本号将自动使用磁盘上的最新版本。

NLP立方体

nlp多维数据集是一个开源自然语言处理框架，支持UD Treebanks（下面列出了所有可用语言）中包含的语言。如果需要，请使用NLP多维数据集：

• 句子分段
• 标记化
• 词性标注（独立于语言（upos）和依赖于语言（xpos和attrs））
• 元素化
• 依赖项分析

示例输入：“这是一个测试。”，输出是：

1       This    this    PRON    DT      Number=Sing|PronType=Dem        4       nsubj   _
2       is      be      AUX     VBZ     Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin   4       cop     _
3       a       a       DET     DT      Definite=Ind|PronType=Art       4       det     _
4       test    test    NOUN    NN      Number=Sing     0       root    SpaceAfter=No
5       .       .       PUNCT   .       _       4       punct   SpaceAfter=No

如果您只想运行它，下面是如何设置它并在几行中使用nlp多维数据集：Quick Start Tutorial。

对于想要创建和训练自己的模型的高级用户，请参阅examples/中的高级教程，从如何locally install NLP-Cube开始。

简单（PIP）安装/更新版本

使用以下命令安装（或更新）NLP多维数据集：

pip3 install -U nlpcube

API使用

要以编程方式使用nlp cube*（在python中），请按照this tutorial 总结如下：

from cube.api import Cube       # import the Cube object
cube=Cube(verbose=True)         # initialize it
cube.load("en")                 # select the desired language (it will auto-download the model on first run)
text="This is the text I want segmented, tokenized, lemmatized and annotated with POS and dependencies."
sentences=cube(text)            # call with your own text (string) to obtain the annotations

sentences对象现在包含注释文本，一次一个句子。要打印第三个单词的pos（在第一句中），只需运行：

print(sentences[0][2].upos) # [0] is the first sentence and [2] is the third word

每个令牌对象都有以下属性：index，word，lemma，upos，xpos，attrs，head，label，deps，space_after。有关每个属性的详细信息，请参见标准conll格式。

网络服务器使用

要将nlp多维数据集用作web服务，您需要 locally install NLP-Cube 启动服务器：

例如，以下命令将启动服务器并预加载语言：en、fr和de。

cd cube
python3 webserver.py --port 8080 --lang=en --lang=fr --lang=de

要进行测试，请打开以下link（请复制链接的地址，因为它是本地地址和端口链接）

引用

如果您在研究中使用NLP Cube，我们将非常感谢您引用以下论文：

• NLP-Cube: End-to-End Raw Text Processing With Neural Networks，Boro_，Tiberiu和Dumitrescu，Stefan Daniel和Burtica，Ruxandra，Conll 2018共享任务会议录：从原始文本到通用依赖的多语言解析，计算语言学协会。第171-179页。2018年10月

或者，bibtex格式：

@InProceedings{boro-dumitrescu-burtica:2018:K18-2,
  author    = {Boroș, Tiberiu  and  Dumitrescu, Stefan Daniel  and  Burtica, Ruxandra},
  title     = {{NLP}-Cube: End-to-End Raw Text Processing With Neural Networks},
  booktitle = {Proceedings of the {CoNLL} 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies},
  month     = {October},
  year      = {2018},
  address   = {Brussels, Belgium},
  publisher = {Association for Computational Linguistics},
  pages     = {171--179},
  abstract  = {We introduce NLP-Cube: an end-to-end Natural Language Processing framework, evaluated in CoNLL's "Multilingual Parsing from Raw Text to Universal Dependencies 2018" Shared Task. It performs sentence splitting, tokenization, compound word expansion, lemmatization, tagging and parsing. Based entirely on recurrent neural networks, written in Python, this ready-to-use open source system is freely available on GitHub. For each task we describe and discuss its specific network architecture, closing with an overview on the results obtained in the competition.},
  url       = {http://www.aclweb.org/anthology/K18-2017}
}

Languages and performance

Results are reported against the test files for each language (available in the UD 2.2 corpus) using the 2018 conll eval script. Please see more info about what each metric represents here。

注意：

• 版本1.1的模型不再需要大的外部向量嵌入文件。这使得加载1.1模型的速度更快，内存占用更少。
• 所有报告的结果都是2端的。（例如，我们在自己的分段文本上测试标记的准确性，因为这是真实的用例；conll结果大多报告在“gold”或预分段文本上，从而提高了标记器/解析器/等的准确性）

标签：

• and
• the
• 标记
• 模型
• 语言
• 工具包
• nlp
• en
• cube

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• icedata

  数据集集合

• apachebookkeeperclient

  防止漏洞攻击的软件包

• zqygis

  茨基斯

• docstrcoverage

  防止漏洞攻击的软件包

• dataframez

  不要使用这是一个示例程序

• site-auditor

  现场审核员

• markdown-ratings

  一个降价插件，在你的网页上显示星级。

• desktop-encrypt

  保持桌面文件夹加密

• foo1021

  未提供项目说明

• pyracmon

  针对DBAPI 2.0的Python O/R映射扩展

• threatbus-misp

  一个插件，用于启用与MISP的threatbus通信。

• KivyMD-Components

  为KivyMD库安装其他组件的脚本

• drfjwt

  防止漏洞攻击的软件包

• R2T2

  研究参考文献跟踪工具

• porerefiner

  帮助你管理毛孔