奇異值分解最小二乘

奇異值分解（Singular Value Decomposition, SVD）是一種用於數學計算和數據分析的重要工具，尤其是在線性代數和機器學習領域。它將一個矩陣分解為三個矩陣的乘積，這些矩陣分別對應原始矩陣的某些特徵。奇異值分解可以用於解決最小二乘問題，這是一種常見的數學優化問題，用於尋找最佳擬合線或平面，或者在數據降維中找到最重要的特徵。

最小二乘問題的目標是找到一個模型，使得它與給定的數據點之間的誤差平方和最小。在線性模型中，這通常涉及找到一個矩陣 X 的最佳擬合向量 b，使得誤差平方和最小。這個問題可以表示為：

[ \min_{b} | Xb - y |^2 ]

其中 X 是設計矩陣，b 是模型的參數向量，y 是觀察到的數據向量。

奇異值分解可以用來解決這個問題，方法是將 X 分解為 U、Σ 和 V^T 的乘積，其中 U 和 V 是正交矩陣，Σ 是一個對角矩陣，對角線上的元素是奇異值。奇異值分解的公式如下：

[ X = U \Sigma V^T ]

最小二乘問題的解可以通過以下步驟找到：

1. 計算 X 的奇異值分解 X = U Σ V^T。
2. 設 b = V Σ^(-1) U^T y，其中 Σ^(-1) 表示 Σ 的逆。
3. 由於 Σ^(-1) 可能不存在（如果 Σ 中有零奇異值），可以使用 Σ 的右逆來代替，即 b = V (Σ^(-1) \odot I) U^T y，其中 \odot 表示哈達瑪積（element-wise multiplication），I 是單位矩陣。

這樣的解 b 滿足最小二乘問題的條件，並且可以提供數據的最佳擬合。奇異值分解還可以用於數據降維，通過保留最大的奇異值和相應的奇異向量來減少數據的維度。這就是所謂的PCA（主成分分析）方法。