最尤推定正規分布

在統計學中，最尤推定（Maximum Likelihood Estimation, MLE）是一種用來估計參數的方法，它通過尋找能夠最大化模型在給定數據上的機率分布的參數值。對於常態分配（也稱為高斯分布），這是一種非常常用的推斷方法。

常態分配的密度函式可以表示為：

$$ f(x \mid \mu, \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x - \mu)^2}{2\sigma^2}} $$

其中，$\mu$是均值，$\sigma^2$是方差，$x$是我們要觀察的變數。

為了使用最尤推定來估計常態分配的參數，我們需要找到能夠最大化上述密度函式的$\mu$和$\sigma^2$的值。這通常是通過對數似然函式來完成的，因為最大化對數似然函式等價於最大化原始的似然函式。

假設我們有$n$個獨立同分布的觀測值$x_1, x_2, \dots, x_n$，那麼似然函式可以表示為：

$$ L(\mu, \sigma^2 \mid x_1, x_2, \dots, xn) = \prod{i=1}^{n} f(x_i \mid \mu, \sigma^2) $$

對數似然函式則是：

$$ \ell(\mu, \sigma^2 \mid x_1, x_2, \dots, xn) = \sum{i=1}^{n} \log f(x_i \mid \mu, \sigma^2) $$

為了找到最大值，我們通常會使用梯度上升法或者一些專門的最佳化算法來最大化對數似然函式。這個過程通常涉及到對$\mu$和$\sigma^2$求偏導，並設定導數為零來找到臨界點。

在實際套用中，由於數據的量綱可能不同，$\sigma^2$通常會先進行對數變換，即估計對數方差$\log(\sigma^2)$，這樣可以避免在$\sigma^2$接近於零時，對數似然函式變得不可微。

最終，通過最尤推定，我們可以得到常態分配的均值和方差的估計值。這些估計值可以用來對未來的觀測進行預測，或者用來檢驗假設。