多項式回帰最小二乗法

最小二乘法（Least Squares Method）是一種用於求解線性方程組的方法，它可以用於多項式回歸中。在多項式回歸中，我們試圖找到一個多項式函數，該函數最好地擬合給定的數據點。最小二乘法通過最小化誤差項的平方和來找到這個最佳的多項式函數。

假設我們有一組數據點{(x1, y1), (x2, y2), ..., (xn, yn)}，我們想要找到一個多項式函數

y = a0 + a1x + a2x^2 + ... + an-1x^(n-1) + anx^n

其中，a0, a1, ..., an是我們要找到的係數，n是多項式的度。最小二乘法通過最小化以下目標函數來找到這些係數：

SSE = Σ(yi - f(xi))^2

其中，SSE是總體誤差平方和，yi是觀察到的數據點的值，f(xi)是使用給定的係數計算出的多項式函數的值。

為了找到這些係數，我們可以使用微分法來設置偏導數為零，或者使用矩陣方法來解一個線性方程組。使用矩陣方法，我們可以將問題表示為以下形式：

X^T X a = X^T * y

其中，X是數據點的設計矩陣，a是係數向量，y是數據點的響應向量。X^T是X的轉置，*表示乘法運算。

通過解這個線性方程組，我們可以找到最佳的係數向量a，從而得到最佳的多項式函數。這種方法被稱為普通最小二乘法（Ordinary Least Squares, OLS）。

最小二乘法的一個優點是，它對離群點具有較高的抵抗力，因為它使用誤差項的平方和來衡量模型的好壞，而不是誤差項本身。這意味著一個大的離群點對目標函數的影響沒有幾個較小的離群點的影響大。

然而，最小二乘法也有一些局限性。例如，它假設數據滿足線性模型的前提條件，並且它可能會過度擬合數據，特別是在高維度數據中。此外，它只考慮了誤差項的方差，而沒有考慮其它的分佈特性。

總之，最小二乘法是多項式回歸中的一種常用方法，它通過最小化誤差項的平方和來找到最佳的多項式函數。雖然它有一些局限性，但在許多情況下，它仍然是一個有效的建模工具。