最小平方最大概似

最小平方最大概似（Maximum Likelihood Estimation, MLE）是一種用於估計統計模型參數的方法。這種方法的基本思想是找到能夠最大化模型產生觀測數據的機率的參數值。在實踐中，這通常通過最小化模型的負對數似然函式（即平方誤差）來實現，因此被稱為最小平方最大概似。

假設我們有一個觀測數據集，以及一個參數θ的模型分布。最大概似估計的目標是找到參數θ的值，使得模型產生觀測數據的機率最大。這個機率可以通過模型的似然函式來表示，即

L(θ) = p(x_1, x_2, ..., x_n; θ)

其中x_1, x_2, ..., x_n是觀測數據，θ是模型的參數。最大概似估計的參數值θ*是通過最大化這個似然函式來找到的，即

θ* = argmax_θ L(θ)

在實際套用中，通常會使用梯度上升或類似的方法來找到θ*。由於對數函式是單調遞增的，因此我們經常對似然函式取對數，得到對數似然函式，然後最大化它：

l(θ) = log L(θ) = log p(x_1, x_2, ..., x_n; θ)

θ* = argmax_θ l(θ)

最小平方最大概似方法通常用於線性模型和回歸問題中，其中模型參數的估計是通過最小化平方誤差來實現的。在這些問題中，似然函式通常假設觀測誤差服從高斯分布，因此最小化平方誤差等價於最大化高斯分布的似然函式。