最小二乘法和梯度下降法
最小二乘法和梯度下降法都是最佳化算法，用於找到一組數據中的最佳擬合線或最佳參數。
- 最小二乘法（Least Squares Method）：是一種數學最佳化技術。它通過最小化平方誤差來尋找數據的最佳函式匹配。最小二乘法通過找到所有誤差的平均平方和的「最小值」來工作，這意味著所有誤差的絕對值之和最小。在回歸分析中，最小二乘法用於找到最佳擬合線。
- 梯度下降法（Gradient Descent）：是一種最佳化算法，用於找到函式的最小值。梯度下降法通過不斷更新函式的參數，以減少函式在給定數據上的損失（誤差）。它利用了目標函式對參數的導數（梯度）來指導更新方向，以逐步接近全局最小值。梯度下降法在疊代過程中不斷調整參數，直到達到預設的停止條件（如達到最大疊代次數或達到足夠小的改進）。
這兩種方法在許多機器學習和數據分析任務中都非常有用。最小二乘法通常用於線性回歸問題，而梯度下降法則更廣泛地套用於各種最佳化問題，包括神經網路訓練等。