最大似然法估計

最大似然法（Maximum Likelihood Estimation, MLE）是一種統計學方法，用於估計參數值，這些參數值使得從特定模型中觀察到的數據的似然性最大。最大似然估計的目標是找到能夠使樣本數據出現的機率最大的參數值。

假設我們有一個模型，其參數為θ，並且我們從這個模型中抽取了樣本數據。最大似然估計的步驟如下：

1. 確定似然函數（Likelihood function）：這是一個機率密度函數（PDF）或機率質量函數（PMF），取樣本數據作為參數。

2. 計算似然函數的對數（Log-likelihood function）：這通常使得優化問題更容易解決，因為對數函數是單調增加的。

3. 找到參數θ的值，使得對數似然函數取最大值。這個值就是最大似然估計。

最大似然估計的一個重要特性是，它不依賴於數據的分布，只要數據是獨立同分布的，就可以使用最大似然估計。這使得最大似然估計成為一種非常普遍的估計方法。

例如，考慮一個簡單的二項分布模型，其中我們想要估計成功機率p。我們從這個模型中抽取了n次試驗，成功了k次。二項分布的似然函數是：

L(p; k, n) = p^k (1-p)^(n-k)

對數似然函數是：

l(p) = k log(p) + (n-k) log(1-p)

為了找到最大似然估計，我們需要找到p的值，使得l(p)取最大值。這通常通過導數設為零或者使用梯度上升算法來解決。

最大似然估計是一種強有力的工具，可以用於各種統計模型，包括線性回歸、對數迴歸、混合模型等。它也是許多機器學習算法的基礎，如邏輯回歸、神經網絡等。