最小二乘法公式

最小二乘法是一種數學最佳化技術，它通過最小化誤差的平方和來尋找數據的最佳函式匹配。在數學中，最小二乘法常用於曲線擬合、數據校正和信號處理等領域。最小二乘法假設誤差是隨機且相互獨立的，並且誤差服從常態分配。

最小二乘法的公式可以表示為：

[ \min{\beta} \sum{i=1}^{n} (y_i - \beta^T x_i)^2 ]

其中，( \beta ) 是待求的參數向量，( x_i ) 是第 ( i ) 個數據的特徵向量，( y_i ) 是第 \i 個數據的觀測值，( n ) 是數據點的總數。

為了找到這個公式的最小值，我們可以對參數 ( \beta ) 求偏導，並令偏導數為零：

[ \frac{\partial}{\partial \beta} \sum_{i=1}^{n} (y_i - \beta^T x_i)^2 = 0 ]

展開這個偏導數，我們得到：

[ 2 \sum_{i=1}^{n} (y_i - \beta^T x_i) x_i = 0 ]

這個方程組通常很難直接解出 ( \beta )。為了簡化問題，我們可以將方程寫成矩陣形式：

[ X^T y - X^T X \beta = 0 ]

其中，( X ) 是特徵矩陣，其第 ( i ) 行是 ( x_i )，( y ) 是觀測值向量，其第 ( i ) 個元素是 ( y_i )。

現在，我們可以解這個方程來找到 ( \beta )。如果 ( X^T X ) 是滿秩的，那麼我們可以解這個方程得到：

[ \beta = (X^T X)^{-1} X^T y ]

這就是最小二乘法的最小化點的閉式解，也稱為普通最小二乘（OLS）解。如果 ( X^T X ) 不是滿秩的，那麼 ( (X^T X)^{-1} ) 不存在，我們需要使用其他方法來估計 ( \beta )，例如通過偽逆或ridge回歸等方法。

在實際套用中，最小二乘法通常用於線性回歸模型，其中 ( y_i ) 是因變數，( x_i ) 是自變數，( \beta ) 是模型的係數。通過最小化誤差平方和，最小二乘法可以找到最佳的線性模型來擬合數據。