利用检查点调整超参数初始模型

Question

我有一个关于为Inception ResNet V2模型（或任何其他DL模型）调优超参数的问题，我真的不太清楚这个问题。 现在，我已经设置了某些超参数，比如learning_rate、decay_factor和{}。我的模型保存了检查点，以便以后可以在这些点继续。 如果我再次运行这个模型，使用更多的时间段，它会在最后一个检查点继续进行训练。在

但是，如果我要设置新的超参数，例如learning_rate = 0.0001而不是learning_rate = 0.0002，那么继续检查点有意义吗，还是在初始模型上使用新的超参数更好？在

后者听起来更符合逻辑，但我不确定这是否有必要。在

提前谢谢。在

Answer 1

这两种方法都没问题，但你必须在调整后看到你的训练损失。如果它们在两种情况下都在收敛，那么就可以相应地进行调整。在

然而，据我所知，人们采用这两种方法。一开始保持较高的学习率，并保持一个衰减因子，从而在学习率开始收敛时缓慢降低。2如果你认为你可以调整到更好的学习率，你可以随时关注功能丧失，并尽早停止。在