完全最小二乘法

完全最小二乘法（Total Least Squares, TLS）是一種數學最佳化方法，用於解決線性系統中的過determined（即方程的數量多於未知數的數量）或ill-posed（即不穩定的或病態的）問題。在這種方法中，目標是在最小化殘差（預測值與觀測值之間的差異）的同時，最小化矩陣的奇異值。

在傳統的最小二乘法（Least Squares, LS）中，目標是找到一個向量β，使得以下殘差平方和最小化：

[ \sum_{i=1}^{m} \left| y_i - X_i \beta \right|^2 ]

其中，( y_i )是觀測向量，( X_i )是設計矩陣，( \beta )是待估參數向量，( m )是觀測的數量。

完全最小二乘法則同時考慮了殘差和矩陣的條件數，條件數是矩陣穩定性的度量，由矩陣的奇異值決定。TLS的目標是找到一個向量β，使得以下目標函式最小化：

[ \sum_{i=1}^{m} \left| y_i - Xi \beta \right|^2 + \lambda \sum{i=1}^{m} \left| X_i \right|^2 ]

其中，( \lambda )是一個正則化參數，用於平衡殘差平方和與矩陣條件數。當( \lambda = 0 )時，TLS退化為傳統的最小二乘法。

完全最小二乘法在數據具有噪聲、系統不穩定或者存在病態矩陣的情況下特別有用。它能夠提供更穩定和魯棒的結果，尤其是在處理高維數據或存在多重共線性時。

在實際套用中，完全最小二乘法通常通過奇異值分解（SVD）來實現，因為SVD可以有效地計算矩陣的條件數。通過完全最小二乘法得到的解可能不是唯一的，因為存在多個β向量可以同時最小化殘差和矩陣的條件數。在這種情況下，可以選擇條件數最小的解。