遞推最小二乘法

遞推最小二乘法（Recursive Least Squares, RLS）是一種用於在線性系統中估計參數的方法。它是一種疊代算法，可以用來更新模型參數的估計值，以便更好地擬合數據。

最小二乘法（Least Squares, LS）的目標是在給定的數據集上找到一組參數，使得這些參數與數據之間的誤差平方和最小。這個問題可以表示為一個優化問題：

[ \min{\theta} \sum{i=1}^{n} (y_i - \hat{y}_i)^2 ]

其中 ( \theta ) 是參數向量，( y_i ) 是觀察到的數據點，( \hat{y}_i ) 是使用模型參數 ( \theta ) 預測的數據點。

遞推最小二乘法是一種在線方法，它可以在接收到新的數據點時，即時更新參數的估計值。這種方法可以表示為一個更新規則，如下所示：

[ \theta_{t+1} = \theta_t + \frac{K_t}{1 + \lambdat} (y{t+1} - \hat{y}_{t+1}) ]

其中 ( \theta_{t+1} ) 是更新後的參數估計值，( \theta_t ) 是之前的參數估計值，( Kt ) 是權重向量，( y{t+1} ) 是新的數據點，( \hat{y}_{t+1} ) 是使用 ( \theta_t ) 預測的數據點，( \lambda_t ) 是正則化係數。

權重向量 ( K_t ) 可以用以下公式來計算：

[ K_t = P_t a_t^T (a_t P_t a_t^T + \lambda_t I)^{-1} ]

其中 ( P_t ) 是預測誤差的協方差矩陣，( a_t ) 是新的數據點與之前的數據點的相關向量。

正則化係數 ( \lambda_t ) 可以用來控制模型的複雜度，較大的 ( \lambda_t ) 會導致較簡單的模型，較小的 ( \lambda_t ) 會導致較複雜的模型。

遞推最小二乘法適用於線性模型，例如線性回歸、線性迴聲器等。這種方法可以用於實時數據處理，例如在自動控制系統中進行參數估計和模型更新。