回歸直線最小平方法

最小平方法（Least Squares Method）是一種用於擬合數據的方法，它通過最小化誤差的平方和來找到數據的最佳擬合直線。在回歸分析中，最小平方法用於找到最佳的線性回歸模型，即一條直線，使得所有數據點到這條直線的距離和的平方最小。

最小平方法的基本步驟如下：

1. 確定因變數（dependent variable）和自變數（independent variable）。
2. 收集數據，並計算因變數和自變數的平均值。
3. 計算回歸係數（β0 和 β1）的估計值，這些係數用於構建線性回歸方程 y = β0 + β1x。
4. 使用回歸係數來預測因變數值。

最小平方法的核心思想是找到一組係數，使得因變數的觀測值和預測值之間的誤差平方和最小。這個誤差平方和的函式通常被稱為總離差平方和（Total Sum of Squares, SST），它可以通過以下公式計算：

SST = Σ(yi - y_mean)^2

其中，yi是第i個觀測的因變數值，y_mean是因變數的平均值。

然後，我們可以將總離差平方和分解為兩部分：回歸平方和（Explained Sum of Squares, SSE）和剩餘平方和（Residual Sum of Squares, SSR）。SSE是因變數的觀測值和其預測值之間的誤差平方和，而SSR是因變數的觀測值與其平均值之間的誤差平方和。

SSE = Σ(y_i - y_hat_i)^2 SSR = Σ(y_i - y_mean)^2

最小平方法的目標是最大化SSE，因為這意味著回歸模型更好地解釋了數據。在實際套用中，我們通常通過最小化SSR來找到最佳的回歸模型，因為最小化SSR等價於最大化SSE。

最小化SSR可以通過求解一個方程組來實現，這個方程組是由因變數的觀測值和自變數的觀測值之間的關係構成的。這個方程組可以通過矩陣運算來求解，得到回歸係數的最小二乘估計值。

最小平方法是一種廣泛套用於統計學和數據科學的方法，它不僅適用於線性回歸，還可以用於多元線性回歸、邏輯回歸和其他類型的回歸分析。