检查过盈

Question

我想确保我的模型没有过度拟合。我使用交叉验证检查过盈。所有折叠的结果都很接近。但同时我检查了列车和测试预测。测试尺寸为0.25。火车和测试的预测是如此的不同。这表明我的模型过拟合了。我应该相信哪个结果？交叉验证或测试/训练预测。我的模型是否拟合过度

注意：我使用了python。Sklearn用于交叉验证、列车试验拆分和建模

Answer 1

从你给出的准确度来看，两种方法都表明你拟合过度。交叉验证只是一种更准确的方法，用于测试模型的泛化程度，因此不要比较折叠，而是将平均交叉验证精度与训练精度进行比较，因为这两种方法非常不同，因为你有过拟合

Answer 2

我不是专家，但首先我建议您相信交叉验证结果。 交叉验证将数据分为N个部分，每次使用N-1进行训练，1进行测试，因此其结果显示更真实的结果。 我还建议您重新整理数据并计算评估的置信区间

95%置信区间可计算为：

aux = 1.96 * sqrt((evaluation*(1-evaluation))/num_test_samples)

使用交叉验证评估及其相应的置信区间，请记住，如果我没有错的话，也可以在cross_validate（）方法中获得列车评估

这三件事你们可以看到列车评估和测试评估有多大的变化。 如果你的训练评估比你的测试评估大很多，你可能有过拟合

当您的训练结果与测试评估相比非常大，并且训练精度趋向于100%时，您知道您的模型不能很好地推广。 特别是在神经网络中，很容易通过历元传递看到