非凸目标函数的LBFGS

Question

我使用Scipy的LBFGS实现最小化非凸目标函数。结果还不错。但收敛的状态是“异常终止”。在

这可能是因为我的目标函数是非凸的吗？或者这是否意味着我的梯度（手动分析计算并作为参数传递给Scipy的LBFGS）是错误的？在

Answer 1

一切都很好。通常L-BGFS，梯度下降是凸优化方法。这意味着你的优化函数应该有一个全局最小值，它应该是平滑的。当函数为非凸函数时，它有不同的地形，我们称之为局部极小。所以在这种情况下，当我们对非凸函数使用凸优化方法时，会发生的是优化过程可以找到一个局部极小值，而这并不是完美的答案。在