矩陣最小二乘

矩陣最小二乘法（Matrix Least Squares）是一種數學方法，用於解決線性系統的不適定問題，即當方程組的未知數多於方程數時，有多個解或無解的情況。最小二乘法尋找的是一個解，使得解與實際數據之間的誤差平方和最小。

假設我們有一組線性方程組，可以表示為如下形式：

[ A \mathbf{x} = \mathbf{b} ]

其中，( A ) 是 ( m \times n ) 的矩陣，( \mathbf{x} ) 是 ( n ) 維的列向量，( \mathbf{b} ) 是 ( m ) 維的列向量。在適定問題中，( m ) 應等於或大於 ( n )，且 ( A ) 的列應線性獨立，這樣方程組有唯一解。

但在不適定問題中，( m < n )，且 ( A ) 的列不一定線性獨立，這時方程組可能有無數個解，或者沒有解。最小二乘法尋找的是一個解 ( \hat{\mathbf{x}} )，使得誤差向量 ( \mathbf{e} = \mathbf{b} - A \hat{\mathbf{x}} ) 的范數最小。通常，我們使用二范數，即誤差平方和的開方：

[ \hat{\mathbf{x}} = \arg \min_{\mathbf{x}} | \mathbf{b} - A \mathbf{x} |_2 ]

這個問題可以通過將誤差向量 ( \mathbf{e} ) 寫成 ( \mathbf{e} = A \mathbf{x} - \mathbf{b} )，並使用勾股定理來解決：

[ | \mathbf{e} |_2 = | A \mathbf{x} - \mathbf{b} |_2 = | A \mathbf{x} |_2 - | \mathbf{b} |_2 \leq | A | | \mathbf{x} |_2 - | \mathbf{b} |_2 ]

其中，( | A | ) 是矩陣 ( A ) 的范數。為了使誤差最小，我們需要使 ( | \mathbf{x} |_2 ) 最小，這可以通過設 ( \mathbf{x} = A^T (A A^T)^{-1} \mathbf{b} ) 來實現。

在實際應用中，最小二乘法常用於數據擬合和信號處理，例如在迴歸分析中，用於找到最佳的線性模型來擬合數據。在這種情況下，( A ) 通常包含自變量的不同值，( \mathbf{x} ) 包含模型的係數，( \mathbf{b} ) 包含因變量或響應變量的預測值。最小二乘法找到的解 ( \hat{\mathbf{x}} ) 代表了最佳的線性模型，其誤差平方和最小。