最大可能性估計

最大可能性估計（Maximum Likelihood Estimation, MLE）是一種統計學方法，用於估計參數的值，這些參數定義了一個給定的機率分佈模型。MLE 尋找的是這樣一個參數值，使得在給定的數據下，該分佈模型的機率密度函數或機率質量函數的乘積（即likelihood function）達到最大值。

假設我們有一組數據 ( x_1, x_2, \ldots, x_n )，這些數據來自一個機率分佈，其參數為 ( \theta )。我們想要估計 ( \theta ) 的值。最大可能性估計就是找到那個使得數據出現的可能性最大的 ( \theta ) 值。

形式上，給定數據 ( x_1, x_2, \ldots, x_n )，我們想要找到參數 ( \theta ) 使得以下函數達到最大值：

[ L(\theta; x_1, x_2, \ldots, x_n) = p(x_1, x_2, \ldots, x_n; \theta) ]

這就是數據的likelihood function。MLE 估計的 ( \hat{\theta} ) 滿足：

[ \hat{\theta} = \arg\max_{\theta} L(\theta; x_1, x_2, \ldots, x_n) ]

即 ( \hat{\theta} ) 是使得 likelihood function 最大的參數值。

在實踐中，找到 MLE 通常涉及數學上的極值問題，有時這可能是一個複雜的任務。然而，對於許多常見的分佈，如正態分佈、泊松分佈和二項分佈，MLE 的計算都有簡單的公式。

MLE 有一個很好的性質，即它是一個無偏估計量，並且在某些條件下，它是有效的，這意味著在給定的數據集上，MLE 估計的方差是最小的。然而，這些好處是有前提條件的，比如數據必須來自一個特定的機率分佈，並且數據必須是獨立同分布的。