最尤推定二項分布

"最尤推定"(Maximum Likelihood Estimation, MLE)是一種統計方法,用於估計參數的最大似然估計值。對於二項分布,我們可以使用MLE來估計成功機率p。

假設我們有一個二項分布,其機率質量函式(PMF)為:

P(X = k) = C(n, k) p^k (1-p)^(n-k)

其中,X是二項分布的隨機變數,n是試驗次數,k是成功的次數,p是成功機率,C(n, k)是組合數,表示從n個物品中選取k個的組合數。

使用MLE,我們想要找到使似然函式L(p)最大的p值。似然函式是所有觀察結果出現的機率的乘積。對於二項分布,觀察結果是成功k次,失敗n-k次。因此,似然函式為:

L(p) = p^k * (1-p)^(n-k)

為了找到最大值,我們對p求導,然後令導數為零:

dL(p)/dp = k p^(k-1) (1-p)^(n-k) - (n-k) p^k (1-p)^(n-k-1)

令導數為零,得到:

k p^(k-1) (1-p)^(n-k) - (n-k) p^k (1-p)^(n-k-1) = 0

這個方程通常很難直接解出p。一個常用的方法是使用疊代方法,如鮑姆-沃普爾(Baum-Welch)算法或梯度上升算法來找到最大值。

對於小規模的問題,我們可以通過觀察導數的形式來找到p的近似值。例如,當k << n時,我們可以忽略(1-p)^(n-k)中的低階項,得到:

k p^(k-1) - (n-k) p^(k+1) = 0

解這個方程,我們得到:

p^k * (k - np) = 0

由於p不能為0(因為我們假設p > 0),我們可以解出k = np,這通常是一個很好的近似。然後我們可以使用這個近似值來估計p。

在實際套用中,通常使用統計軟體包或程式語言(如R、Python等)中的MLE函式來估計二項分布的參數。這些工具可以有效地找到最大似然估計值。