最大可能性算法

最大可能性（Maximum Likelihood，ML）算法是一種用於估計統計模型參數的方法。它的基本思想是找到能夠最大化模型產生觀測數據的機率的參數值。在給定觀測數據的情況下，最大可能性估計就是找到使觀察數據的對數似然函式最大的參數值。

假設我們有數據集D，由n個獨立同分布的觀測值組成，每個觀測值是由機率分布p(x;θ)產生的，其中θ是我們要估計的參數。最大可能性估計的目標是找到參數θ的值，使得觀測數據的機率p(D;θ)最大。

對數似然函式L(θ)定義為： L(θ) = ln p(D;θ)

由於數據集D是固定的，我們可以將L(θ)看作是θ的函式。最大可能性估計就是找到使得L(θ)最大的θ值。這可以通過直接計算L(θ)關於θ的導數並設定其為零，或者使用更複雜的最佳化算法來實現。

最大可能性估計有幾個重要的特性：

1. 一致性：隨著樣本量的增加，最大可能性估計會收斂到真實參數值。
2. 無偏性：對於某些模型，最大可能性估計是無偏的，即E[θML] = θ。
3. 有效性：在某些情況下，最大可能性估計是有效估計量，即它們達到CRANE下界。

最大可能性估計在許多領域都有套用，包括機器學習、統計學、信號處理等。它是參數估計中最常用的一種方法。