最小平方法矩陣

最小平方法矩陣（Normal Equations Matrix）是一種用於線性回歸的矩陣運算方法，其目標是找到最佳的線性模型來擬合數據。最小平方法矩陣的公式如下：

[ X^TXw = X^Ty ]

其中：

• ( X ) 是一個設計矩陣，它包含了數據的特徵向量作為列向量。
• ( y ) 是一個包含因變量（目標值）的向量。
• ( w ) 是一個包含模型系數的向量。
• ( X^T ) 表示 ( X ) 的轉置矩陣。
• ( X^TX ) 被稱為規範化矩陣（Normal Matrix）。
• ( X^Ty ) 被稱為規範化向量（Normal Vector）。

最小平方法矩陣的解 ( w ) 可以用以下公式求得：

[ w = (X^TX)^{-1}X^Ty ]

這裡，( (X^TX)^{-1} ) 是 ( X^TX ) 的逆矩陣。這個解就是使得 ( (X^TX)w = X^Ty ) 的向量 ( w )，這意味著 ( w ) 滿足最小二乘法（Least Squares）的條件，即誤差向量 ( (Xw-y) ) 的二范數最小化。

最小平方法矩陣的優點是它提供了一種直接解出線性回歸模型系數的方法，而且它不依賴於疊代算法，因此計算速度快。然而，它的缺點是當 ( X^TX ) 接近奇異或者奇異時，求逆可能會導致不穩定或者無解。此外，最小平方法矩陣不適用於高維數據，因為在高維情況下，( X^TX ) 的維度可能會非常大，導致計算量過大或者結果不穩定。