过度自信的模型预测导致所有0个梯度

Question

目前我正在为我的CNN模型实现GradCAM（激活热图）。当我的信心不是100%时，它非常有效（注意：这是一个多标签分类问题，所以我使用的是sigmoid激活，而不是softmax）。在

然而，当我的模型过于自信（字面上的置信度为1.0（100%）时，最终输出层的梯度w.r.t最终卷积的输出特征映射将变为零。在

我想这可能是因为为了得到100%的损失必须是0或接近0。我尝试了几种损失张量的方法来解释这一点，包括剪切、规范化（硬编码和使用tensorflow的l2_范数函数），以及简单地向其添加一个非常小的浮点（1e-5）。在

然而，什么都没用，我也找不到任何关于这个话题的资源。我是否错过了一个非常简单的技巧或功能，可能会有帮助？或者这是我的模型架构的一个更深层次的问题？在

如何规范化/调整模型的输出损耗张量，使其不包含0值？在