最小平方

最小平方（Minimum Squares）是一種數學方法，用於在給定的數據點集合中找到一條直線（或者更高維空間中的超平面），使得該直線與所有數據點的距離平方和最小。這種方法在統計學、線性代數、信號處理和最最佳化等領域有著廣泛的套用，尤其是線上性回歸中。

最小平方問題的數學表述如下：給定一組數據點 $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$，我們想要找到一條直線 $y = mx + b$，使得誤差的平方和最小，其中誤差被定義為每個數據點 $(x_i, y_i)$ 到直線的垂直距離。

誤差函式可以表示為： [ E = \sum_{i=1}^{n} (y_i - mx_i - b)^2 ]

我們的目標就是找到 $m$ 和 $b$，使得 $E$ 最小。這個問題可以通過求解方程組的導數等於零來找到最小值點，或者通過矩陣運算來求解。

對於二維空間中的直線，我們可以將最小平方問題表示為一個矩陣方程： [ \begin{bmatrix} \sum_{i=1}^{n} xi^2 & \sum{i=1}^{n} xi & n \ \sum{i=1}^{n} xi & \sum{i=1}^{n} 1 & n \ n & n & 0 \end{bmatrix} \begin{bmatrix} m \ b \ \sigma^2 \end{bmatrix}

\begin{bmatrix} \sum_{i=1}^{n} y_i xi \ \sum{i=1}^{n} y_i \ n\bar{y} \end{bmatrix} ]

其中 $\bar{y}$ 是數據點的平均值，$\sigma^2$ 是誤差的方差。通過解這個方程組，我們可以找到 $m$ 和 $b$ 的值。

在更高維的空間中，最小平方方法同樣適用，只不過我們需要找到一個超平面來擬合數據點。最小平方方法是一種有效的線性模型擬合方法，它假設數據點之間存線上性關係。