什麼是最大概似估計值

最大概似估計(Maximum Likelihood Estimation, MLE)是一種統計學的方法,用來估計一個模型參數的值,這些參數控制著一個機率分布,而這個分布的樣本已經被觀察到。最大概似估計的目標是找到使樣本觀察到的機率最大的參數值。

假設我們有一個數據集,並且我們想要估計一個機率模型中的參數θ。我們可以定義一個樣本的概似函數(likelihood function),這個函數給出了在參數θ的值下,觀察到這個樣本的機率。概似函數通常寫成L(θ),並且可以寫成數據點的乘積形式:

L(θ) = ∏_{i=1}^{n} p(x_i | θ)

其中,p(x_i | θ)是第i個數據點的條件機率,它取決於參數θ。

最大概似估計的目標是找到使L(θ)最大的θ值。這個問題通常通過求解概似函數的對數(這稱為對數概似函數)來解決,因為對數運算具有傳遞性,並且對數的連乘等於對數的和:

l(θ) = log L(θ) = ∑_{i=1}^{n} log p(x_i | θ)

找到最大概似估計值通常涉及對θ求導,並設置導數為零,然後解這個方程來找到θ的值。有時,這可能涉及更複雜的數學方法和近似技術。

最大概似估計是一種常見的估計參數的方法,因為它具有良好的理論特性,並且在許多情況下可以有效地計算。它還與其他統計學概念(如信息理論和假設檢驗)緊密相關。