正常精度图形的跳跃量是多少

Question

在4节课上训练一个模型，并用TensorBoard跟踪结果。我的图表如下所示：

绿线：val精度

红线：列车精度

你看，我的val acc图跳得很厉害。这正常吗

Answer 1

验证准确性“跳跃”的情况并不少见，尤其是在最初的时代。一般来说，跳跃通常会随着时代的增加而变小。最好专注于验证丢失的行为，因为这是您想要最小化的。较小的学习率通常有助于减少波动

Answer 2

是的，这很正常

发生了什么事

1. 损失函数的轮廓将有起伏。测试和训练结果不同，但不显著
2. 当列车损失达到最小值时，您的准确度将相对较高。这并不一定意味着您的测试损失必须处于最小值。当它们显著不同时，就会出现过度拟合
3. 当测试损耗最小但列车损耗不最小时，您的测试精度将高于列车。这就是所谓的不适
4. 理想路径的波动是正常的。这就是为什么tensorboard为您提供了平滑边缘的选项。好好使用这个选项，您就可以了解模型的性能是否良好

注意过拟合/欠拟合不是由单个观察结果决定的。如果两个损失的路径都随着时间的增加而偏离，那么我们就可以得出关于模型性能的结论