最大似然函數

最大似然函式(Maximum Likelihood Function)是統計學中用來估計參數的方法。它基於這樣一個原則:假設模型參數是未知的,我們可以通過觀察到的數據來找到最有可能產生這些數據的參數值。

最大似然估計(Maximum Likelihood Estimation, MLE)的目標是找到使觀察到的數據的可能性最大的參數值。這個可能性是通過似然函式(Likelihood Function)來評估的,似然函式給出了在給定參數值下觀察到特定數據的可能性。

假設我們有一個數據集,我們想要找到模型參數θ的值,最大似然函式可以表示為:

L(θ) = p(x1, x2, ..., xn; θ)

其中,x1, x2, ..., xn是我們的數據集,θ是我們要估計的參數,p(x1, x2, ..., xn; θ)是聯合機率分布。

最大似然估計的目標是找到θ的值,使得L(θ)最大。通常,這可以通過對數似然函式來簡化,因為對數運算可以交換求最大值和求和的操作:

l(θ) = log L(θ) = log p(x1, x2, ..., xn; θ)

找到使得l(θ)最大的θ值,等價於找到使得L(θ)最大的θ值。

最大似然估計是一種常用的參數估計方法,因為它通常給出了無偏估計,並且在某些條件下是有效的。然而,最大似然估計也有一些局限性,例如在某些情況下,最大似然估計可能不存在,或者存在但不是唯一的。此外,最大似然估計假設了數據生成過程的模型是正確的,如果模型不正確,最大似然估計的性能可能會受到影響。