最小二乘法例題

最小二乘法（Least Squares Method）是一種數學最佳化技術，用於找到數據集中最佳的直線擬合（對於線性數據）或最佳的曲線擬合（對於非線性數據）。這種方法通過最小化誤差的平方和來得到最佳的擬合值。以下是使用最小二乘法解決一個簡單線性回歸問題的例子：

假設我們有一組數據點{(x1, y1), (x2, y2), ..., (xn, yn)}，我們想要找到一條直線y = a + bx，使得所有數據點到這條直線的距離和的平方最小。

我們可以將這個問題表示為以下形式：

[ \sum_{i=1}^{n} (y_i - (a + bx_i))^2 ]

我們要找到a和b的值，使得上述表達式的值最小。為了簡化問題，我們可以將上面的表達式寫成矩陣形式：

[ \sum_{i=1}^{n} (y_i - (a + bxi))^2 = \sum{i=1}^{n} (y_i - \hat{y}_i)^2 ]

其中，(\hat{y}_i = a + bx_i)是我們的線性模型對第i個數據點的預測值。

我們可以將上述表達式寫成矩陣形式：

[ \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = (y - \hat{y})^T (y - \hat{y}) ]

其中，(y = \begin{bmatrix} y_1 \ y_2 \ \vdots \ y_n \end{bmatrix})，(\hat{y} = \begin{bmatrix} \hat{y}_1 \ \hat{y}_2 \ \vdots \ \hat{y}_n \end{bmatrix})，(y - \hat{y} = \begin{bmatrix} y_1 - \hat{y}_1 \ y_2 - \hat{y}_2 \ \vdots \ y_n - \hat{y}_n \end{bmatrix})。

為了找到a和b的值，我們需要最小化上述表達式。我們可以使用矩陣求導或者直接使用線性代數中的特徵值和特徵向量來找到最小值。但是，對於簡單的線性回歸問題，我們可以使用以下公式來找到a和b的值：

[ \hat{a} = \bar{y} - \hat{b} \bar{x} ] [ \hat{b} = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(yi - \bar{y})}{\sum{i=1}^{n} (x_i - \bar{x})^2} ]

其中，(\bar{x})和(\bar{y})分別是x和y的平均值。

這個公式給出了最小二乘法線性回歸的解。通過計算(\hat{a})和(\hat{b})的值，我們可以得到最佳的直線擬合我們的數據。