最速下降法例題

最速下降法（Steepest Descent Method）是一種用於尋找函數極小值的一階導數方法。它的基本思想是從某一個初始點出發，沿著梯度下降的方向（即函數值下降最快的方向）一步步逼近極小值點。

下面是一個簡單的例子，展示了如何使用最速下降法來尋找一個二次函數的極小值。假設我們有一個二次函數：

f(x) = x^2 + 4x + 5

我們想要找到這個函數的極小值。首先，我們需要計算函數的導數，即梯度：

f'(x) = 2x + 4

最速下降法通常需要一個初始點和一個步長（學習率）來疊代更新點的位置。我們可以從任意一點開始，比如 x = 0。接下來，我們將沿著梯度的相反方向走一步，即：

x{new} = x{old} - alpha * f'(x_{old})

其中 alpha 是步長。我們可以選擇一個較小的數字作為 alpha，比如 0.1。

第一次疊代： 初始點 x = 0 梯度 f'(0) = 4 步長 alpha = 0.1 x_{new} = 0 - 0.1 * 4 = -0.4

第二次疊代： 新的點 x = -0.4 梯度 f'(-0.4) = 2(-0.4) + 4 = 2.4 步長 alpha = 0.1 x_{new} = -0.4 - 0.1 * 2.4 = -0.64

我們可以繼續這樣疊代下去，每次更新點的位置，直到梯度的值變得非常小，或者達到某個預定的精度。

最終，我們會發現函數的極小值點在 x = -2，這時 f(x) = (-2)^2 + 4(-2) + 5 = 1。最速下降法不一定能找到全局最小值，但它可以找到一個局部最小值。在實際應用中，通常會結合其他方法，如線性搜尋或二分搜尋來選擇更適當的步長，以加快收斂速度並提高找到全局最小值的機率。