二階最小平方法

二階最小平方法（Second-order Minimization）是指在優化問題中使用二階導數（Hessian 矩陣）來尋找目標函數的全局最小值的方法。這種方法比僅使用一階導數（梯度）的一階最小平方法（First-order Minimization）更為精確，因為它考慮了目標函數的二階導數，這可以提供更多信息關於目標函數的局部曲率。

在數學優化中，二階最小平方法通常用於解決以下形式的問題：

[ \min_{x \in \mathbb{R}^n} f(x) ]

其中，$f(x)$ 是一個多元函數，$x \in \mathbb{R}^n$ 是待優化的參數。二階最小平方法的基本步驟包括：

1. 計算目標函數的梯度 $\nabla f(x)$。
2. 計算目標函數的Hessian矩陣 $H(x) = \nabla^2 f(x)$。
3. 使用Hessian矩陣來尋找梯度為零的點，即可能的駐點。
4. 檢查這些駐點是否為最小值，這通常通過檢查Hessian矩陣的正定性來完成。

在實際應用中，二階最小平方法通常較慢，因為它需要計算和存儲Hessian矩陣，這在大型問題中可能非常耗時。此外，Hessian矩陣不總是容易計算或存儲，特別是在高維情況下。因此，在許多實際問題中，一階最小平方法（如梯度下降法）更為常用，因為它們更簡單、更高效。

在某些情況下，可以使用近似Hessian矩陣或採用線性代數技術（如共軛梯度法）來加速二階最小平方法的計算。此外，在凸優化問題中，二階最小平方法可以提供全局最小值，而在非凸問題中，它只能提供局部最小值或鞍點。