<p>目前似乎有两个问题:</p>
<p>1)带有<code>metric=interval_distance</code>的Krippendorff alpha系数的NLTK实现使用了与在<a href="http://repository.upenn.edu/cgi/viewcontent.cgi?article=1043&context=asc_papers" rel="nofollow noreferrer">Krippendorff's paper</a>中发布的不同的基础公式,或者代码中存在错误。在</p>
<p><a href="https://i.stack.imgur.com/OOvLk.gif" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/OOvLk.gif" alt=""/></a></p>
<ul>
<li>对于玩具示例1,标称alpha值应该是<code>-0.125</code>(而不是NLTK返回的<code>0.0</code>):</li>
</ul>
<p><a href="https://i.stack.imgur.com/KeFUp.gif" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/KeFUp.gif" alt=""/></a></p>
<ul>
<li>类似地,对于玩具示例2,alpha值应该是<code>0.36</code>(而不是NLTK返回的<code>0.93</code>)。在</li>
</ul>
<p><a href="https://i.stack.imgur.com/sz42K.gif" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/sz42K.gif" alt=""/></a></p>
<p>2)Krippendorff度量可以对输入数据进行假设,并且/或不是为处理具有少量观察结果和观察到的一致/不一致单位的玩具示例而设计的。在</p>
<p>实际上,对于玩具示例1,NTLK <code>metric=binary_distance</code>返回的α系数值<code>0</code>是通过手动计算确定的。在</p>
<p>二元α公式:</p>
<p><a href="https://i.stack.imgur.com/1ttm3.gif" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/1ttm3.gif" alt=""/></a></p>
<p>玩具示例1:</p>
<p><a href="https://i.stack.imgur.com/brMDf.gif" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/brMDf.gif" alt=""/></a></p>