最小二乘公式

最小二乘法是一種數學最佳化技術，它通過最小化誤差的平方和來尋找數據的最佳函式匹配。在數學中，最小二乘法常用於曲線擬合、數據校正和信號處理等領域。最小二乘法的公式可以通過以下方式表述：

設我們有一組數據點，它們由自變數 x 和因變數 y 組成，即 (x_i, y_i)，其中 i 是數據點的索引。我們希望找到一個函式 y = f(x) 來擬合這些數據點。最小二乘法的目標是找到函式 f(x) 中的參數，使得所有數據點的誤差平方和最小。

假設我們有 n 個數據點，函式 f(x) 由參數向量 β = (β_1, β_2, ..., β_p) 決定，其中 p 是參數的個數。我們可以將函式 f(x) 表示為：

f(x) = β_1 x^(p-1) + β_2 x^(p-2) + ... + β_p

對於每個數據點 i，我們可以計算出誤差 e_i：

e_i = y_i - f(x_i)

最小二乘法的目標是找到參數向量 β，使得所有誤差的平方和最小，即：

\sum_{i=1}^{n} ei^2 = \sum{i=1}^{n} (y_i - f(x_i))^2

為了找到 β，我們可以將誤差項展開，得到：

\sum_{i=1}^{n} ei^2 = \sum{i=1}^{n} (y_i - β_1 x_i^(p-1) - β_2 x_i^(p-2) - ... - β_p)^2

這個表達式可以通過矩陣運算進行簡化。我們將 x_i^(p-1), x_i^(p-2), ..., x_i^0 排列成一個矩陣 X，並將 y_i 排列成一個向量 y。參數 β 可以表示為一個向量 β。然後我們可以將誤差平方和表示為向量 y 和矩陣 X 之間的內積：

\sum_{i=1}^{n} e_i^2 = (y - X β)^T (y - X * β)

最小化這個表達式等同於最小化函式 J(β)：

J(β) = (y - X β)^T (y - X * β)

通過求解 J(β) 對 β 的偏導數為零，我們可以找到 β 的值。這個過程通常通過矩陣求逆或者使用梯度下降等最佳化算法來完成。

在實際套用中，最小二乘法通常用於線性回歸，即函式 f(x) 是線性函式的情況。這時，我們可以使用普通最小二乘法（OLS）來求解參數 β。對於線性回歸，我們可以將 β 表示為 X 的逆矩陣與 y 的乘積：

β = (X^T X)^(-1) X^T * y

這個公式是線性回歸的最小二乘解，其中 X^T 是 X 的轉置矩陣，X^T X 是 X 的伴隨矩陣，(X^T X)^(-1) 是這個矩陣的逆。