什麼是最大似然估計

最大似然估計(Maximum Likelihood Estimation, MLE)是一種統計學的方法,用來估計一個模型(如機率分佈)的參數值。它的基本思想是:

  1. 假設有一個數據集,這些數據是來自某個潛在的數據生成過程。
  2. 我們想要找到一個模型(如機率分佈),這個模型帶有某些參數,這些參數決定了數據的生成方式。
  3. 我們還要找到這些參數的最佳值,使得模型生成觀察到的數據的可能性最大。

最大似然估計就是通過計算數據的似然函數(likelihood function)來實現這一點。似然函數給出了在給定參數值下,數據集發生的機率。我們要找到的參數值,就是使得這個機率最大的那一個。

舉個例子,假設我們有一個數據集,包含了從某個未知的真實分佈中抽樣得到的一系列數值。我們可以假設這個分佈是高斯分佈,但是我們不知道它的均值和標準差。最大似然估計可以幫助我們根據觀察到的數據來估計這些參數。

我們會為均值和標準差設定一些初值,然後計算這些值下數據的似然函數。接著,我們會微調這些參數,再次計算似然函數,重複這個過程,直到我們找到使似然函數最大的參數值,這些值就是最大似然估計。

最大似然估計有一個很好的性質,那就是它們在某些條件下是無偏的,並且在大型數據集上通常很穩定。然而,它們的成功很大程度上取決於模型的正確選擇,以及數據是否真的來自所假設的模型。如果模型不正確,或者數據不是來自所假設的分佈,那麼最大似然估計可能會導致錯誤的結論。