什麼是局部最小值

在數學和最佳化中,局部最小值(local minimum)是一個函式值,在該點附近的任何其他點上,函式值都不小於這一點。換句話說,在局部最小值點附近的任何方向上,函式值都會增加。

局部最小值可以分為兩種類型:

  1. 嚴格局部最小值(Strict local minimum):在這一點附近的任何其他點上,函式值都嚴格大於這一點。
  2. 非嚴格局部最小值(Non-strict local minimum):在這一點附近的任何其他點上,函式值都不小於這一點,但在某些方向上,函式值保持不變。

在尋找函式的最小值時,通常會找到局部最小值,而不是全局最小值(global minimum)。全局最小值是在整個定義域上所有可能點中函式值最小的點。找到全局最小值通常比找到局部最小值要困難得多,因為需要考慮函式在整個定義域上的行為。

在實踐中,找到局部最小值通常就足夠了,因為很多時候我們感興趣的是在某個特定區域內的最小值,而不是整個定義域上的最小值。然而,局部最小值可能不是我們真正想要的,因為它們可能不是全局最小值。因此,在選擇最佳化算法時,需要考慮到找到全局最小值的可能性。