用brat注释文件计算注释者间的一致性

Question

有了三个注释器，我们一直在使用brat（http://brat.nlplab.org/）来注释三个类别的文本样本：PERS、ORG、GPE。我想计算该示例的注释器间的一致性。然而，我似乎找不到一个简单的方法来做到这一点。我尝试过这个Python包：https://github.com/savkov/BratUtils，但似乎失败了。在

对于每个带注释的示例，我有三个.ann文件，我想计算注释器之间的一致性。文件中的数据如下所示：

T1  Person 173 183  Alexanders
T2  Person 444 450  Hannah
T3  Person 754 766  Corneliszoon
T4  GPE 787 796 Antwerpen
T5  Person 824 833  Alexander

有没有一种简单的方法来计算注释器间的一致性（使用Python或基于web的工具）？在

Answer 1

我设计了一个计算注释者一致性的工具。它主要是针对Doccano的，但是很少进行调整，它可能能够计算任何东西。请看一下：https://github.com/vwoloszyn/diaa/