最小平方法證明

最小平方法（Least Squares Method）是一種用來求解線性模型中未知參數的方法，其目標是使模型預測值與實際觀察值之間的誤差平方和最小化。這種方法在統計學、數學、數據科學和工程學中都有廣泛應用，尤其是在線性回歸模型中。

最小平方法證明的基礎是歐幾里得空間中的直線性質。假設我們有一組數據點{(x1, y1), (x2, y2), ..., (xn, yn)}，我們想要找到一條直線y = a + bx + e，其中e是誤差項，使得這條直線與數據點的距離之平方和最小化。

最小平方法的基本假設是誤差項e是隨機變量，並且滿足以下條件：

1. 誤差項e是均值為零的隨機變量，即E[e] = 0。
2. 誤差項e的方差有限，即Var[e] < ∞。
3. 誤差項e之間相互獨立。
4. 誤差項e與自變量x相互獨立。

在這些假設下，最小平方法可以證明如下：

設直線方程為y = a + bx + e，其中a是直線的截距，b是直線的斜率。我們想要找到a和b的值，使得誤差平方和最小化。誤差平方和可以表示為：

SSE = ∑(y_i - a - bx_i)^2 for i = 1 to n

為了最小化SSE，我們可以對a和b求偏導數，並設置導數為零。這將給出兩個方程：

∂SSE/∂a = 2 ∑(y_i - a - bx_i) = 0 ∂SSE/∂b = 2 ∑(y_i - a - bx_i)x_i = 0

解這些方程，我們可以得到a和b的值。具體地，我們可以將上述方程轉化為矩陣形式：

X^T e = 0 (X^T X)^(-1) X^T e = 0

這裡，X是數據點的設計矩陣，e是誤差向量，X^T是X的轉置，(X^T X)^(-1)是X^T X的逆。由於e是零向量，我們可以得到：

(X^T X)^(-1) X^T X a + (X^T X)^(-1) X^T e = a a = (X^T X)^(-1) X^T y

這就是最小平方法求解a和b的公式。證明過程表明，最小平方法找到的a和b的值，使得直線與數據點的距離之平方和最小化。這就是最小平方法的基本原理。