最尤推定二項分布
"最尤推定"(Maximum Likelihood Estimation, MLE)是一種統計方法,用於估計參數的最大似然估計值。對於二項分布,我們可以使用MLE來估計成功機率p。
假設我們有一個二項分布,其機率質量函式(PMF)為:
P(X = k) = C(n, k) p^k (1-p)^(n-k)
其中,X是二項分布的隨機變數,n是試驗次數,k是成功的次數,p是成功機率,C(n, k)是組合數,表示從n個物品中選取k個的組合數。
使用MLE,我們想要找到使似然函式L(p)最大的p值。似然函式是所有觀察結果出現的機率的乘積。對於二項分布,觀察結果是成功k次,失敗n-k次。因此,似然函式為:
L(p) = p^k * (1-p)^(n-k)
為了找到最大值,我們對p求導,然後令導數為零:
dL(p)/dp = k p^(k-1) (1-p)^(n-k) - (n-k) p^k (1-p)^(n-k-1)
令導數為零,得到:
k p^(k-1) (1-p)^(n-k) - (n-k) p^k (1-p)^(n-k-1) = 0
這個方程通常很難直接解出p。一個常用的方法是使用疊代方法,如鮑姆-沃普爾(Baum-Welch)算法或梯度上升算法來找到最大值。
對於小規模的問題,我們可以通過觀察導數的形式來找到p的近似值。例如,當k << n時,我們可以忽略(1-p)^(n-k)中的低階項,得到:
k p^(k-1) - (n-k) p^(k+1) = 0
解這個方程,我們得到:
p^k * (k - np) = 0
由於p不能為0(因為我們假設p > 0),我們可以解出k = np,這通常是一個很好的近似。然後我們可以使用這個近似值來估計p。
在實際套用中,通常使用統計軟體包或程式語言(如R、Python等)中的MLE函式來估計二項分布的參數。這些工具可以有效地找到最大似然估計值。