最小平方估計值

最小平方估計值（Minimum Squares Estimate）是一種用來估計線性模型中未知參數的方法。在統計學和數學中，當我們想要估計一個線性模型的參數時，我們會使用最小平方估計法來找到使得模型誤差平方和最小的參數值。

假設我們有一組觀測數據，這些數據可以用一個線性模型來表示： [ y_i = \beta_0 + \beta1 x{i1} + \beta2 x{i2} + \cdots + \betap x{ip} + \epsilon_i ]

其中，( y_i ) 是我們的第 ( i ) 個觀測值，( \beta_0, \beta_1, \beta_2, \ldots, \betap ) 是我們想要估計的參數，( x{ij} ) 是我們的解釋變量，( \epsilon_i ) 是隨機誤差項。

最小平方估計法的目標是找到這些參數的最佳估計值，使得模型對應的誤差項 ( \epsilon_i ) 的平方和最小。在實際應用中，我們通常假設誤差項 ( \epsilon_i ) 滿足以下條件：

1. 期望值為零：( E(\epsilon_i) = 0 )
2. 方差齊性：( Var(\epsiloni) ) 不隨 ( x{ij} ) 變化
3. 獨立性：( \epsilon_i ) 之間相互獨立
4. 正態性：( \epsilon_i ) 遵循正態分佈

在滿足這些條件下，最小平方估計值就是線性模型的參數的無偏估計，並且在樣本量足夠大的情況下，這些估計值也是有效的。

最小平方估計值的計算通常通過求解一個矩陣方程來實現，這個方程稱為正常方程（Normal Equations）。正常方程的解就是我們想要的最小平方估計值。

例如，假設我們有一個簡單的線性模型 ( y_i = \beta_0 + \beta1 x{i1} + \epsilon_i )，我們可以通過以下步驟來計算最小平方估計值：

1. 計算 ( \sum_{i=1}^n yi ) 和 ( \sum{i=1}^n yi x{i1} )，其中 ( n ) 是觀測值的數量。
2. 計算 ( \sum{i=1}^n x{i1}^2 ) 和 ( \sum{i=1}^n x{i1} )。
3. 使用以下公式來計算 ( \beta_0 ) 和 ( \beta_1 ) 的估計值： [ \hat{\beta_0} = \bar{y} - \hat{\beta_1} \bar{x_1} ] [ \hat{\beta1} = \frac{\sum{i=1}^n yi x{i1} - n \hat{\beta_0} \bar{x1}}{\sum{i=1}^n x_{i1}^2 - n \bar{x_1}^2} ] 其中 ( \bar{y} ) 是 ( y_i ) 的平均值，( \bar{x1} ) 是 ( x{i1} ) 的平均值。

這些估計值就是最小平方估計值，它們可以用來預測新的 ( x_{i1} ) 所對應的 ( y ) 值。