带有负反馈的Tensorflow优化器？

Question

我正在优化tensorflow模型。它不是一个神经网络，我只是使用tensorflow进行简单的导数计算。在任何情况下，似乎损失面在某个地方有一个陡峭的边缘，我的损失有时会“弹出”到它当前目标的局部最小值，损失将大幅增加，优化器将在其他地方寻找其他优化

我希望它不要做那件事。具体来说，我想让它看看损失，就像“神圣的垃圾，刚刚上升了一整串，我最好回溯一点。”即使当前的梯度可能想把它发送到其他地方，我想让它“回溯”在某种意义上，并继续努力找到它以前的最佳目标。是否有一个tensorflow优化器以这种方式具有某种“负反馈”

Answer 1

你可以向前传球，检查损失，如果你认为损失可以接受，再向后传球。在TF1.x中，它需要一些{}和手动计算和应用梯度。在TF2.0中也一样，只是控制流更容易，但是您必须使用gradient_tape，并且仍然手动应用渐变