最大概似估計法

最大概似估計法(Maximum Likelihood Estimation, MLE)是一種統計學方法,用於估計機率分佈的參數值。這種方法的基本思想是:當從一個機率分佈中抽取樣本時,這些樣本最有可能來自於那些使樣本出現機率最大的參數值。因此,MLE的目標是找到一組參數,使得這些參數所對應的樣本機率最大。

具體來說,假設我們有一個樣本 ( x_1, x_2, \ldots, x_n ),這些樣本來自一個機率分佈 ( p(x;\theta) ),其中 ( \theta ) 是我們要估計的參數。我們想要找到 ( \theta ) 的值,使得樣本出現的機率最大。這可以通過計算樣本的似然函數 ( L(\theta) = p(x_1, x_2, \ldots, x_n;\theta) ) 來實現,然後找到使 ( L(\theta) ) 最大的 ( \theta ) 值。

最大概似估計就是找到使樣本似然函數取最大值的參數值,即:

[ \hat{\theta} = \arg\max_{\theta} L(\theta) ]

這裡 ( \hat{\theta} ) 是估計的參數值。

最大概似估計有一個很好的性質,那就是它是無偏估計量,並且在樣本大小足夠大的情況下,它是有效的,即它具有最小的方差。此外,最大概似估計還具有一致性,即隨著樣本大小的增加,估計值會越來越接近真值。

最大概似估計法是一種廣泛使用的估計方法,它適用於各種機率分佈和統計模型,包括常態分佈、泊松分佈、二項分佈等。在許多情況下,最大概似估計法是最簡單也是最有效的估計方法。