在平衡验证集中,我们是否有可能具有很高的验证准确性和低的灵敏度和特异性?

2024-09-28 22:47:39 发布

您现在位置:Python中文网/ 问答频道 /正文

我有个问题。我正在使用Keras和TensorFlow后端进行图像识别。有两类:积极任务和消极任务。你知道吗

我使用的是一个预训练模型(带有冻结权重)和一个密集层(不是冻结)。你知道吗

我报告了一个问题:经过100个时代的训练,我得到的结果如下:

Epoch 98/100 488/488 [==============================] - 222s 454ms/step - loss: 0.0774 - acc: 0.9720 - sensitivity: 0.9746 - specificity: 0.9683 - val_loss: 0.0660 - val_acc: 0.9697 - val_sensitivity: 0.4412 - val_specificity: 0.5368
Epoch 99/100 488/488 [==============================] - 221s 453ms/step - loss: 0.0791 - acc: 0.9687 - sensitivity: 0.9729 - specificity: 0.9647 - val_loss: 0.0930 - val_acc: 0.9570 - val_sensitivity: 0.5428 - val_specificity: 0.4245
Epoch 100/100 488/488 [==============================] - 221s 453ms/step - loss: 0.0775 - acc: 0.9693 - sensitivity: 0.9715 - specificity: 0.9655 - val_loss: 0.0751 - val_acc: 0.9684 - val_sensitivity: 0.4482 - val_specificity: 0.5285

准确率为96%,损失率为0.0751(二元交叉熵),敏感性和特异性均较低。这可能是类不平衡的问题,但是我有2600个测试实例,其中正类有1302个,负类有1298个。你知道吗

如果我们的准确率为+90%,那么我们期望另外两个指标中的一个能够提供一个很好的结果分类。如果这些指标用于评估每个类的命中率,并且我们的精确度很高,那么如何才能获得两个指标的低值?你知道吗

我不知道这里发生了什么,有人能帮我吗?你知道吗

我的敏感性和特异性函数如下:

def sensitivity(y_true, y_pred):
    true_positives = K.sum(K.round(K.clip(y_true * y_pred, 0, 1)))
    possible_positives = K.sum(K.round(K.clip(y_true, 0, 1)))
    return true_positives / (possible_positives + K.epsilon())
def specificity(y_true, y_pred):
    true_negatives = K.sum(K.round(K.clip((1-y_true) * (1-y_pred), 0, 1)))
    possible_negatives = K.sum(K.round(K.clip(1-y_true, 0, 1)))
    return true_negatives / (possible_negatives + K.epsilon())

我为我的英语不好道歉。谢谢你的帮助!你知道吗

我试着用图像进行二值分类。我使用了迁移学习,并添加了两个评估模型的指标:敏感性和特异性。你知道吗

如果我们在一个二元分类任务中有一个很高的精度,并且有一个平衡的验证数据,我们期望在验证的敏感性或特异性上得到很好的结果。模型或度量评估中存在一些不一致。你知道吗

编辑9/9 我尝试过使用另一种迁移学习或简单的模型,我得到了同样的结果。我真的不明白这是什么。你知道吗

Epoch 100/100 488/488 [==============================] - 217s 445ms/step - loss: 0.0575 - acc: 0.9767 - sensitivity: 0.9793 - specificity: 0.9737 - val_loss: 0.0731 - val_acc: 0.9653 - val_sensitivity: 0.4904 - val_specificity: 0.4852


Tags: 模型truestepval指标accsumloss