期望最大化方法

期望最大化（Expectation-Maximization, EM）算法是一種疊代算法，用於解決含有隱變數的機率模型參數估計問題。EM算法的基本思想是：當數據中包含隱含未知的變數時，直接對模型參數進行最大似然估計通常是困難的。EM算法通過疊代地更新模型的參數，使得模型的似然函式不斷提高。

EM算法的步驟如下：

1. 初始化：選擇一組參數的初始值θ。
2. 期望（E）步驟：計算隱變數的後驗分布，即給定觀測數據和當前參數值的情況下，隱變數的條件機率。
3. 最大化（M）步驟：基於E步中計算的後驗分布，對模型參數進行重新估計，使得模型的對數似然函式最大化。
4. 重複：不斷重複E步和M步，直到參數的值收斂，即兩次連續疊代之間的參數變化小於某個閾值，或者達到最大疊代次數。

EM算法在處理貝葉斯網路、隱馬爾可夫模型、混合高斯模型等含有隱變數的模型時非常有用。例如，在混合高斯模型中，隱變數表示每個數據點來自哪個高斯分布。EM算法可以用於估計每個高斯分布的參數（均值和方差）以及每個數據點屬於哪個高斯分布的標籤。

EM算法的優點是它不需要對隱變數進行直接的觀測，只需要知道它們的機率分布。EM算法的缺點是它是一個疊代算法，可能需要多次疊代才能收斂，而且它不能保證全局最優解，只能保證局部最優解。