解密SENNA Chunk、SRL和解析器输出

Question

Senna是一个使用神经网络构建的NLP工具，它能够：

• 位置标记
• NER标记
• 块标记
• 语义角色标签和
• 解析

从http://ml.nec-labs.com/senna/download.html下载预编译包后

我运行了--help菜单，看看有哪些选项：

alvas@ubi:~/senna$ ./senna-linux64 --help
invalid argument: --help

SENNA Tagger (POS - CHK - NER - SRL)
(c) Ronan Collobert 2009

Usage: ./senna-linux64 [options]

 Takes sentence (one line per sentence) on stdin
 Outputs tags on stdout
 Typical usage: ./senna-linux64 [options] < inputfile.txt > outputfile.txt

Display options:
  -h             Display this help
  -verbose       Display model informations on stderr
  -notokentags   Do not output tokens
  -offsettags    Output start/end offset of each token
  -iobtags       Output IOB tags instead of IOBES
  -brackettags   Output 'bracket' tags instead of IOBES

Data options:
  -path <path>   Path to the SENNA data/ and hash/ directories [default: ./]

Input options:
  -usrtokens     Use user's tokens (space separated) instead of SENNA tokenizer

SRL options:
  -posvbs        Use POS verbs instead of SRL style verbs for SRL task
  -usrvbs <file> Use user's verbs (given in <file>) instead of SENNA verbs for SRL task

Tagging options:
  -pos           Output POS
  -chk           Output CHK
  -ner           Output NER
  -srl           Output SRL
  -psg           Output PSG

命令行界面很直接，POS和NER标记的输出也很容易解释。在

鉴于此输入：

^{pr2}$

这是标准的Penn Treebank标记集：

alvas@ubi:~/senna$ ./senna-linux64 -pos < test.in
            Foo        NNP
           went        VBD
             to         TO
            eat         VB
            bar         NN
             at         IN
            the         DT
         Foobar        NNP
              .          .

这是BIO tagset：

alvas@ubi:~/senna$ ./senna-linux64 -ner < test.in
            Foo      S-PER
           went          O
             to          O
            eat          O
            bar          O
             at          O
            the          O
         Foobar      S-LOC
              .          O

对于分块，它也是我们习惯的BIOE tagset的一种：

alvas@ubi:~/senna$ ./senna-linux64 -chk < test.in
            Foo       S-NP
           went       B-VP
             to       I-VP
            eat       E-VP
            bar       S-NP
             at       S-PP
            the       B-NP
         Foobar       E-NP
              .          O

但是S-标记意味着什么？它似乎只附加到单个令牌块的令牌上，是真的吗？在

SRL标记有点奇怪，它们是每个令牌的多个注释：

alvas@ubi:~/senna$ ./senna-linux64 -srl < test.in
            Foo               -       S-A1        S-A0
           went            went        S-V           O
             to               -   B-AM-PNC           O
            eat             eat   I-AM-PNC         S-V
            bar               -   I-AM-PNC        S-A1
             at               -   I-AM-PNC    B-AM-LOC
            the               -   I-AM-PNC    I-AM-LOC
         Foobar               -   E-AM-PNC    E-AM-LOC
              .               -          O           O

它看起来像是我们从语义框架中得到的“tuple-like”输出，但我不理解其中的约定，例如-AM-是什么？什么是-PNC？在

输出意味着什么？我们应该如何解释它？

对于解析器输出：

alvas@ubi:~/senna$ ./senna-linux64 -psg < test.in
            Foo (S1(S(NP*)
           went (VP*
             to (S(VP*
            eat (VP*
            bar (ADVP*)
             at (PP*
            the (NP*
         Foobar *))))))
              . *))

它看起来像bracketed parse output we see in parsing，但是*是什么意思？

Answer 1

SENNA使用CoNLL格式。你可以在这里阅读：http://universaldependencies.github.io/docs/format.html

这是相当普遍的，周围有很多转换器。在

至于前缀，它们的意思是：S-单例表达式和B-开始I-中间E-多单词表达式的结尾。在

然后是语义角色标注的输出。寻找关于SRL的更多信息，因为这会变得更加复杂。注意这里有两列，一列是动词go，另一列是动词eat。通常A0是主语，A1是直接宾语（同样，过于简单化）。AM是自变量修饰语，-LOC是一个位置（可以是其他副词）。PNC似乎指代名词短语充当动词go的宾语。从我脑子里就不记得了。此处为示例verbs.colorado.edu/propbank/framesets-英语/go-v.html 至于解析树，它被放在方括号内，也是一种受Lisp启发的通用符号。*表示当前令牌的标签。我发现这个很有用：https://math.stackexchange.com/questions/588230/how-to-convert-parentheses-notation-for-trees-into-an-actual-tree-drawing