最小平方誤差線代

最小平方誤差（Minimum Squared Error, MSE）是一種用於評估模型預測性能的指標。在統計學和線性代數中，MSE可以通過最小化誤差的平方和來找到最佳的線性擬合。

在數學上，給定一個數據集，其中包含特徵向量 ( \mathbf{x} ) 和相應的目標值 ( y )，我們可以構建一個線性模型 ( \hat{y} = \mathbf{w}^T \mathbf{x} + b )，其中 ( \mathbf{w} ) 是權重向量，( b ) 是偏差項。最小平方誤差的目標是找到最佳的 ( \mathbf{w} ) 和 ( b )，使得預測值 ( \hat{y} ) 與實際目標值 ( y ) 的誤差平方和最小。

誤差函式可以表示為： [ E(\mathbf{w}, b) = \sum_{i=1}^{n} (\hat{y}_i - y_i)^2 ]

其中 ( \hat{y}_i = \mathbf{w}^T \mathbf{x}_i + b )，( \mathbf{x}_i ) 是第 ( i ) 個特徵向量，( y_i ) 是相應的目標值。

為了找到最小值，我們可以對 ( \mathbf{w} ) 和 ( b ) 求偏導數，並設定它們為零： [ \frac{\partial E}{\partial \mathbf{w}} = 2 \sum_{i=1}^{n} (\hat{y}_i - y_i) \mathbf{x}i = 0 ] [ \frac{\partial E}{\partial b} = 2 \sum{i=1}^{n} (\hat{y}_i - y_i) = 0 ]

解這些方程，我們就可以得到最佳的 ( \mathbf{w} ) 和 ( b )。這個過程通常通過矩陣運算來實現，特別是使用正規方程組（Normal Equations）： [ \mathbf{w} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} ] [ b = \frac{1}{n} \sum_{i=1}^{n} y_i - \mathbf{w}^T \mathbf{x}_i ]

其中 ( \mathbf{X} ) 是特徵矩陣，( \mathbf{y} ) 是目標值向量。

通過求解這些方程，我們就可以找到最小平方誤差線代的解。這種方法在數據挖掘、機器學習和統計學中非常常用，尤其是線上性回歸模型中。