勾配降下法最小二乗法

勾配降下法（Gradient Descent）和最小二乘法（Least Squares Method）是兩種不同的數學最佳化方法，它們在解決不同類型的問題時被使用。

勾配降下法是一種最最佳化算法，用於尋找函式的局部最小值。它通過沿著函式梯度的負方向（即下降最快的方向）疊代更新參數來找到最小值。梯度是函式變化率的矢量表示，負梯度方向是函式值減少最快的方向。勾配降下法的疊代公式如下：

\theta{new} = \theta{old} - \alpha \nabla J(\theta)

其中，\theta{new} 和 \theta{old} 分別是新舊的參數向量，\alpha 是學習率，\nabla J(\theta) 是損失函式 J(\theta) 的梯度。

最小二乘法是一種用於解決線性回歸問題的方法。它通過最小化誤差的平方和來找到最佳的擬合直線或超平面。最小二乘法假設數據點是由一個線性模型加噪聲產生的，它試圖找到一個模型能夠最好地擬合數據。最小二乘法的最佳化目標函式是誤差的平方和，即：

J(\theta) = \sum_{i=1}^{m} (\hat{y}_i - y_i)^2

其中，\hat{y}_i 是模型的預測值，y_i 是真實值，m 是數據點的數量。

最小二乘法可以通過多種方法來求解，包括直接解法（如高斯-賽德爾疊代法）、矩陣分解（如QR分解）或者最佳化算法（如梯度下降法）。當使用梯度下降法來求解最小二乘問題時，實際上是將最小二乘問題轉換成了一個最佳化問題，然後使用梯度下降法來找到損失函式的極小值。

總結來說，勾配降下法是一種通用的最佳化算法，可以用於最小化各種函式，而最小二乘法是一種特定的最佳化方法，專門用於解決線性回歸問題。最小二乘法本身並不是一種算法，但它可以與勾配降下法等最佳化算法結合使用來解決最小二乘問題。