最小平方法實例

最小平方法（Least Squares Method）是一種數學最佳化技術，用於找到數據點最佳擬合的一條直線（一元線性回歸）或一個平面（多元線性回歸）。這種方法通過最小化誤差的平方和來求解未知參數，使得這些誤差平方和最小。

下面是一個最小平方法的最小二乘擬合直線（一元線性回歸）的實例：

假設我們有一組數據點{(x1, y1), (x2, y2), ..., (xn, yn)}，我們想要找到一條直線y = mx + b，其中m是斜率，b是截距，能夠最好地擬合這些數據點。

最小平方法的目標是找到最佳的m和b，使得所有數據點到這條直線的距離平方和最小。這個距離可以用誤差項來表示，即每個數據點的實際值與預測值（直線上的值）的差。

誤差項可以表示為： e_i = y_i - \hat{y}_i 其中，\hat{y}_i是第i個數據點的預測值，可以通過直線上的點來計算，即\hat{y}_i = mx_i + b。

誤差平方和（Sum of Squares of Errors, SSE）可以表示為： SSE = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

最小平方法的目標就是找到最佳的m和b，使得SSE最小。

為了找到最佳的m和b，我們可以將SSE表示為關於m和b的函式，然後通過求解這個函式的偏導數為零來找到最小值。

SSE關於m的偏導數為： \frac{\partial SSE}{\partial m} = \sum_{i=1}^{n} 2(y_i - \hat{y}_i)(-x_i)

SSE關於b的偏導數為： \frac{\partial SSE}{\partial b} = \sum_{i=1}^{n} 2(y_i - \hat{y}_i)

通過令這兩個偏導數等於零，並解這些方程，我們可以找到最佳的m和b。

在實際套用中，我們通常使用矩陣運算來簡化計算。通過將數據點表示為矩陣形式，我們可以使用矩陣運算來找到最佳的m和b。

例如，我們可以將數據點表示為X和Y矩陣，其中X是x值構成的矩陣，Y是y值構成的矩陣。然後我們可以使用矩陣運算來找到最佳的m和b。

這種方法在統計學、信號處理、控制理論、圖像處理等領域有著廣泛的套用。