按R中的“irr”包计算的加权Kappa是否错误？
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我发现<code>irr</code>包在计算<code>weighted kappa</code>时有两个大错误</p>
<p><strong>请告诉我这两个bug是否真的存在，或者我误解了什么。</strong></p>
<p>您可以使用以下示例复制这些bug</p>
<p><strong>第一个错误：需要更正混淆矩阵中的标签类型。</strong></p>
<p>我有两对疾病程度的分数（从0到100，而0是健康的，100是病重的）</p>
<p>在<code>label_test.csv</code>（您只需将数据复制并粘贴到磁盘上即可执行以下测试）：</p>
<pre><code>0
1
1
1
0
14
53
3
</code></pre>
<p>在<code>pred_test.csv</code>中：</p>
<pre><code>0
1
1
0
3
4
54
6
</code></pre>
<p>在<code>script_r.R</code>中：</p>
<pre><code>library(irr)
label <- read.csv('label_test.csv',header=FALSE)
pred <- read.csv('pred_test.csv',header=FALSE)
kapp <- kappa2(data.frame(label,pred),"unweighted")
kappa <- getElement(kapp,"value")
print(kappa) # output: 0.245283
w_kapp <- kappa2(data.frame(label,pred),"equal")
weighted_kappa <- getElement(w_kapp,"value")
print(weighted_kappa) # output: 0.443038
</code></pre>
<p>当我使用<code>Python</code>计算<code>kappa</code>和<code>weighted_kappa</code>时，在<code>script_python.py</code>中：</p>
<pre><code>from sklearn.metrics import cohen_kappa_score
label = pd.read_csv(label_file, header=None).to_numpy()
pred = pd.read_csv(pred_file, header=None).to_numpy()
kappa = cohen_kappa_score(label.astype(int), pred.astype(int))
print(kappa) # output: 0.24528301886792447
weighted_kappa = cohen_kappa_score(label.astype(int), pred.astype(int), weights='linear', labels=np.array(list(range(100))) )
print(weighted_kappa) # output: 0.8359908883826879
</code></pre>
<p>我们可以发现由{<cd11>}和{<cd6>}计算出的{<cd7>}是相同的，但是来自{<cd11>}的{<cd8>}远低于来自{<cd6>}的{<cd16>}中的{<cd8>}。哪一个是错的？经过两天的研究，我发现<code>R</code>中的<code>irr</code>包中的<code>weighted_kappa</code>是错误的。详情如下</p>
<p>在调试过程中，我们会发现<code>R</code>中<code>irr</code>的混淆矩阵是：</p>
<p><a href="https://i.stack.imgur.com/svcWb.png" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/svcWb.png" alt="enter image description here"/></a></p>
<p>我们可以发现订单错了。标签的顺序应该从<code>[0, 1, 14, 3, 4, 53, 54, 6]</code>更改为<code>[0, 1, 3, 4, 6, 14, 53, 54]</code>，就像在Python中一样。似乎<code>irr</code>包使用了基于字符串的排序方法而不是基于整数的排序方法，这将把<code>14</code>放在<code>3</code>的前面。这个错误可以而且应该很容易纠正</p>
<p><strong>第二个错误：R中的混淆矩阵不完整</strong></p>
<p>在我的<code>pred_test.csv</code>和<code>label_test.csv</code>中，值不能覆盖从0到100的所有可能值。因此，来自<code>R</code>的<code>irr</code>中的默认混淆矩阵将丢失数据中未出现的值。这应该是固定的</p>
<p>让我们看另一个例子</p>
<p>在<code>pred_test.csv</code>中，让我们将标签从<code>54</code>更改为<code>99</code>。然后，我们再次运行<code>script_r.R</code>和<code>script_python.py</code>。结果是：</p>
<pre><code>In R:
kappa: 0.245283
weighted_kappa: 0.443038
In Python:
kappa: 0.24528301886792447
weighted_kappa: 0.592891760904685
</code></pre>
<p>我们可以发现<code>R</code>中的<code>irr</code>中的<code>weighted_kappa</code>没有任何变化。但是{<cd6>}中{<cd16>}的{<cd8>}从{<cd43>}减少到{<cd44>}。所以我们知道<code>irr</code>又犯了一个错误</p>
<p>原因是<code>sklearn</code>可以让我们将<code>full labels</code>传递给混淆矩阵，这样混淆矩阵的形状将是100*100，但是在<code>irr</code>中，混淆矩阵的标签是从<code>label</code>和<code>pred</code>的唯一值计算出来的，这将丢失许多其他可能的值。此错误将在此处为<code>53</code>和<code>99</code>分配相同的权重。因此，最好在<code>irr</code>包中提供一个选项，让custumer提供custum<code>labels</code>，就像他们在<code>sklearn</code>from <code>Python</code>中所做的那样</p>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 无法使用Django/mongoengine连接到MongoDB（身份验证失败） 8 回答
- 无法使用Django\u mssql\u后端迁移到外部hos 8 回答
- 无法使用Django&Python3.4连接到MySql 7 回答
- 无法使用Django+nginx上载媒体文件 2 回答
- 无法使用Django1.6导入名称模式 8 回答
- 无法使用Django1.7和mongodb登录管理站点 3 回答
- 无法使用Djangoadmin创建项目，进程使用了错误的路径，因为我事先安装了错误的Python 10 回答
- 无法使用Djangockedi验证CBV中的字段 1 回答
- 无法使用Djangocketditor上载图像（错误400） 9 回答
- 无法使用Djangocron进行函数调用 8 回答
- 无法使用Djangofiler djang上载文件 2 回答
- 无法使用Djangokronos 8 回答
- 无法使用Djangomssql provid 7 回答
- 无法使用Djangomssql连接到带有Django 1.11的MS SQL Server 2016 1 回答
- 无法使用Djangomssq迁移Django数据库 8 回答
- 无法使用Djangonox创建用户 1 回答
- 无法使用Djangopyodb从Django查询SQL Server 10 回答
- 无法使用Djangopython3ldap连接到ldap 8 回答
- 无法使用Djangoredis连接到redis 7 回答
- 无法使用Django中的FK创建新表 3 回答
