与Cohen Kapp签订的多标签注释器协议

Question

假设我想为文档添加注释。每个文档都可以用多个标签进行批注。在本例中，我有两个注释器（a和b），它们分别标记两个文档。在

from sklearn.metrics import cohen_kappa_score
annotator_a = [ 
    ["a","b","c"],
    ["d","e"]
]
annotator_b = [
    ["b","c"],
    ["f"]
]

注释器_a用标签a、b和c标记文档1。注释器_b用标签b和c标记文档1

我尝试使用以下公式计算注释器一致性：

^{pr2}$

但这会导致一个错误：

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead.

关于如何计算注释器对这一集的一致性有什么想法吗？在

Answer 1

Cohen的Kappa不支持不支持多标签输入。不用科恩的Kappa，可以用Krippendorff的Alpha。此度量支持评分者之间的协议、缺失值和非排他主题。它在pypi上可用。在