最速下降法 步长

最速下降法是以负梯度方向作为极小化算法的下降方向，又称为梯度法，是无约束最优化中最简单的方法。

从点x1 沿着最速下降方向d，以步长λ到达点x2，数学上可以写为x2 = x1 + λ*d。这里的d的表达式已经从理论给出，那么问题就变成，寻找合适的λ使得目标函数值 f(x1+λ*d)最小，这本身又是一个最小化问题。

通常所谓的迭代算法，就是指，在某一个给定误差范围内，通过迭代关系 x（k +1)=x（k）+λ（k)*d（k）分别求解相应的 λ（k)和d（k）的过程。当然，每一步求解的x（k +1)都必须在约束范围内。

简单说来就是由起点x（k），方向d（k），步长λ（k)求出下一点x（k +1)，然后将x（k +1)代回原方程，原方程变为一个关于步长λ的方程，求解方程最小时的λ值，即方程关于λ求导，等于0时的λ值。