普通最小平方法

普通最小平方法（Ordinary Least Squares, OLS）是一種用於線性回歸的統計方法，它的目標是找到一個最佳的直線（或者更一般地，一個線性模型）來擬合數據點。在OLS中，最佳直線是通過最小化誤差的平方和來確定的。

假設我們有一個數據集，包含自變數 ( x ) 和因變數 ( y ) 的觀測值。我們希望找到一個線性模型 ( y = \beta_0 + \beta_1 x + \epsilon )，其中 ( \beta_0 ) 和 ( \beta_1 ) 是模型的參數，( \epsilon ) 是誤差項。

最小二乘法的目標是找到 ( \beta_0 ) 和 ( \beta_1 ) 的值，使得因變數的觀測值 ( y ) 與線性模型的擬合值 ( \hat{y} ) 之間的誤差平方和最小。這個誤差平方和可以表示為：

[ \sum_{i=1}^{n} (y_i - \hat{y}i)^2 = \sum{i=1}^{n} (y_i - (\beta_0 + \beta_1 x_i))^2 ]

通過求解這個誤差平方和的最小值，我們可以得到 ( \beta_0 ) 和 ( \beta_1 ) 的估計值。這個過程通常通過求解一個方程組或者使用矩陣運算來完成。

在實踐中，普通最小平方法通常用於處理具有高斯分布的誤差，並且假設誤差項 ( \epsilon ) 相互獨立，具有相同的方差。如果這些假設成立，那麼OLS估計量具有很好的統計性質，比如它們是線性無偏的，並且在樣本量足夠大時，具有有效的方差。

普通最小平方法在許多領域都有廣泛的套用，包括經濟學、金融學、工程學、物理學和數據分析等。它是進行線性回歸分析時最常用的一種方法。