最小平方估計式

最小平方估計式（Least Squares Estimation）是一種統計學的方法，用於估計線性模型的參數。這種方法旨在找到一組參數值，使得模型的預測值與實際觀察值之間的誤差平方和最小。最小平方估計式可以用於回歸分析、時間序列分析、信號處理等多個領域。

假設我們有一組數據點{(x1, y1), (x2, y2), ..., (xn, yn)}，我們想要找到一條線（或者一個函數）來最好地擬合這些數據點。在線性回歸的例子中，我們可能會想要找到一條線 y = a + bx，其中 a 和 b 是我們想要估計的參數。最小平方估計式會找到 a 和 b 的值，使得誤差平方和最小，這裡的誤差是每個數據點的實際值 yi 和預測值 a + bxi 之間的差值。

最小平方估計式的目標函數可以表示為：

\sum_{i=1}^{n}(y_i - (a + bx_i))^2

為了找到 a 和 b 的值，我們可以使用微分法來求解目標函數對 a 和 b 的偏導數為零的點。這將給出兩個方程，我們可以解這些方程來找到 a 和 b 的值。

在實際應用中，我們通常使用計算機來解這些方程，或者使用專門的算法（如梯度下降）來找到最小誤差平方和的參數值。

最小平方估計式有一個很好的性質，那就是它們的估計量滿足無偏性（unbiasedness）和有效性（efficiency）。無偏性意味著估計量的期望值等於真值，有效性意味著在所有無偏估計量中，最小平方估計量具有最小的方差。這些性質使得最小平方估計式成為線性模型參數估計的常用方法。