梯度下降法最佳化

梯度下降法（Gradient Descent）是一種最最佳化算法，用於求解最小化或最大化（取決於成本函式的設定）標量函式。它是機器學習和數據挖掘中常用的算法之一，用於訓練神經網路和線性回歸模型等。

梯度下降法的思想是：開始時，隨機選擇一個點作為初始點，然後沿著梯度（即函式值變化最快的方向）相反的方向走一小步，找到一個更小的函式值。重複這個過程，直到找到全局最小值或達到算法的終止條件。

梯度下降法的步驟如下：

1. 選擇一個初始點x0。
2. 計算梯度∇f(x0)，即函式f(x)在點x0處的導數。
3. 沿著梯度相反的方向走一小步，即更新點x0到x1，其中x1 = x0 - α∇f(x0)，其中α是學習率（learning rate）。
4. 重複步驟2和步驟3，直到滿足終止條件，例如達到最大疊代次數或梯度接近於零。

梯度下降法有三種變體：

1. 批量梯度下降法（Batch Gradient Descent）：在每次疊代中，使用整個數據集來計算梯度。這種方法在大型數據集上效率不高。
2. 隨機梯度下降法（Stochastic Gradient Descent, SGD）：在每次疊代中，使用一個樣本來計算梯度。這種方法速度快，但可能會導致震盪和不穩定性。
3. 批量梯度下降法與隨機梯度下降法之間的折中是使用小批量梯度下降法（Mini-Batch Gradient Descent）：在每次疊代中，使用一小部分數據來計算梯度。這種方法結合了速度和穩定性，是實際套用中最常用的方法。

在實際套用中，梯度下降法通常需要結合其他技術，如動量（Momentum）、Nesterov加速梯度（NAG）、Adagrad、Adam等，以加快收斂速度和提高穩定性。