勾配降下法最急降下法

勾配降下法（Gradient Descent）是一種最佳化算法，用於尋找函式的最小值。在機器學習和數據分析中，它常用於訓練神經網路和線性回歸模型。最急降下法（Steepest Descent）是勾配降下法的一種特殊情況，它沿著梯度的反方向（即梯度下降的方向）進行更新。

勾配降下法的更新規則如下：

[ \mathbf{x}_{t+1} = \mathbf{x}_t - \alpha \nabla f(\mathbf{x}_t) ]

其中，(\mathbf{x}_t) 是第 (t) 次疊代時的參數向量，(\alpha) 是學習率（learning rate），(\nabla f(\mathbf{x}_t)) 是函式 (f) 在 (\mathbf{x}_t) 處的梯度。

最急降下法是最簡單的勾配降下法，它選擇梯度下降的方向作為更新方向，即：

[ \mathbf{x}_{t+1} = \mathbf{x}_t - \alpha \nabla f(\mathbf{x}_t) ]

其中，梯度 (\nabla f(\mathbf{x}_t)) 指向函式值增加最快的方向。因此，每次疊代時，參數向量 (\mathbf{x}) 沿著梯度的反方向移動，這使得函式值逐漸減小，直到找到最小值或收斂於一個局部最小值。

在實際套用中，最急降下法可能會陷入局部最小值，而且收斂速度可能較慢。因此，通常會使用其他更先進的最佳化算法，如動量（Momentum）、Nesterov加速梯度（NAG）、Adaptive Moment Estimation (Adam) 等來加速收斂和避免局部最小值。