最小二乘方法公式

最小二乘方法是一種數學最佳化技術，它通過最小化誤差的平方和來找到數據的最佳函式匹配。在數學中，最小二乘法常用於曲線擬合、數據校正和信號處理等領域。最小二乘方法的公式可以表示為：

[ \min{\beta} \sum{i=1}^{n} (y_i - \beta^T x_i)^2 ]

其中，( \beta ) 是模型的參數向量，( x_i ) 是第 ( i ) 個數據點的自變數向量，( y_i ) 是對應的因變數，( n ) 是數據點的總數。

為了找到這個公式的最小值，我們可以對參數 ( \beta ) 求偏導數，並設定導數為零。這樣就得到了一組方程，可以通過解這些方程來找到 ( \beta ) 的值。這個過程被稱為正規方程，公式如下：

[ \hat{\beta} = (X^T X)^{-1} X^T y ]

其中，( X ) 是數據點的矩陣，每一行是一個數據點的自變數向量 ( x_i )，( y ) 是因變數的向量，( \hat{\beta} ) 是參數 ( \beta ) 的估計值。

這個公式假設數據滿足線性模型 ( y = X \beta + \epsilon )，其中 ( \epsilon ) 是誤差項。最小二乘法找到的 ( \hat{\beta} ) 使得模型能夠最好地擬合數據，即誤差最小。