为什么在微调时需要冻结批处理规范化层的所有内部状态

Question

以下内容来自Keras教程

This behavior has been introduced in TensorFlow 2.0, in order to enable layer.trainable = False to produce the most commonly expected behavior in the convnet fine-tuning use case.

微调卷积神经网络时为什么要冻结该层？是因为tensorflow keras中的某些机制，还是因为批量标准化算法？我自己做了一个实验，我发现如果trainable没有设置为false，那么这个模型往往会灾难性地忘记以前学过的东西，并在最初的几个时期返回非常大的损失。原因是什么

Answer 1

在训练过程中，变化的批次统计数据作为一种正则化机制，可以提高泛化能力。这有助于在训练大量迭代时最小化过度拟合。事实上，使用非常大的批大小can harm generalization，因为批统计中的变化较小，减少了正则化

在对新数据集进行微调时，如果微调示例与原始训练数据集中的示例具有不同的特征，则批次统计信息可能会非常不同。因此，如果批量标准化未冻结，网络将学习新的批量标准化参数（在batch normalization paper中的gamma和beta），这些参数不同于原始训练期间优化的其他网络参数。由于所需的训练时间或微调数据集的小规模，在微调期间重新学习所有其他网络参数通常是不可取的。冻结批处理规范化可避免此问题