梯度下降图是如何工作的

Question

我有一个理解梯度下降的问题，例如，让我们用一个简单的线性回归，用1个特征，在绘制回归直线之后，计算误差Ypred Yact，然后计算回归函数的每个斜率和截距的代价函数。现在，根据斜率和截距绘制此成本函数，以找到通过梯度的斜率和截距的成本函数的最低值

为什么我们要绘制成本函数图，然后找到最低值

该模型将计算不同坡度和截距的成本函数，因此我们不能在此处确定函数的最低值，而不是绘制图形，然后查找坡度并更新坡度和截距吗

Answer 1

当你基于一个训练特征和一个目标特征建立模型时，你可以使用直接方程，如y=mx+c，其中

m=（n（∑xy）-（∑x）（∑y））/（n（∑x^2）-（∑x）^2）

c=（∑y）（∑x^2）-（∑x）（∑xy））/（n（∑x^2）-（∑x）^2）

但是当有多个特征需要训练以获得目标值时，你的方程看起来像y=m1x1+m2x2+m3x3+c，这是一个n维方程

在这里，找到训练和目标特征之间线性关系的单一方程不起作用。对于多个特征，我们需要一条n维的直线来拟合均方误差最小的位置，正如我们所说的，找到成本函数的最低值

然后，关于绘制成本函数图，您使用的库代码不会绘制成本函数。您只需要维护矩阵并迭代以收敛

为了更好地理解算法， click hereclick here