不相容方程組的最小二乘解

在數學中，特別是在線性代數和統計學中，最小二乘法是用來解決那些不可能有精確解的方程組的一種方法。這種方法找到的是一個最佳的近似解，這個解使得所有方程的誤差平方和最小。這種方法在許多領域都有應用，包括數據分析、信號處理、機器學習和工程設計。

對於一個給定的方程組，其最小二乘解通常可以通過將原方程組轉化為一個線性方程組來找到。這個線性方程組的形式通常是一個向量 (\mathbf{x}) 滿足 (\mathbf{A}\mathbf{x} = \mathbf{b})，其中 (\mathbf{A}) 是係數矩陣，(\mathbf{x}) 是待求解的向量，(\mathbf{b}) 是右端項。如果這個方程組沒有精確解，我們可以找到一個向量 (\hat{\mathbf{x}}) 使得 (|\mathbf{A}\hat{\mathbf{x}} - \mathbf{b}|_2) 最小，這裡 (|\cdot|_2) 表示二范數（即向量的歐幾里得范數）。

這個問題可以通過將誤差函數 (E(\mathbf{x}) = |\mathbf{A}\mathbf{x} - \mathbf{b}|_2^2) 最小化來解決。這個誤差函數是 (\mathbf{x}) 的二次函數，因此它的最小值可以通過設置其梯度為零來找到。這就給出了最小二乘解的表達式：

[ \hat{\mathbf{x}} = (\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{b} ]

這裡 (\mathbf{A}^T) 是 (\mathbf{A}) 的轉置，((\mathbf{A}^T\mathbf{A})^{-1}) 是 (\mathbf{A}^T\mathbf{A}) 的逆。

在實際應用中，最小二乘法通常用來解決那些由於測量誤差或其他原因導致的方程組的解不唯一或者沒有解的情況。最小二乘解提供了一個有用的近似解，它使得誤差的影響最小化。