最大期望值演算法

最大期望值（Expectation Maximization, EM）算法是一種疊代算法，用於含有隱變數的機率模型參數的極大似然估計或極大後驗機率估計。EM算法在每一疊代循環分為兩步：

1. E步（Expectation step）：計算潛在變數（隱變數）的後驗分布。
2. M步（Maximization step）：基於E步得到的潛在變數估計，最大化觀測數據的似然函式。

EM算法的步驟如下：

1. 初始化參數θ的值。
2. 重複以下步驟直到收斂：
   • E步：計算潛在變數Z的後驗分布p(Z|X, θ)。
   • M步：使用E步得到的後驗分布，更新參數θ的估計值，使得觀測數據的似然函式L(θ)最大化。
   • 檢查收斂情況。如果收斂，停止算法；否則，轉到第2步。

EM算法在處理含有隱變數的模型時非常有效，例如在混合高斯模型、隱馬爾可夫模型和貝葉斯網路中。EM算法可以用於模型的參數估計，特別是當數據中含有無法直接觀察到的隱變數時。

EM算法的優點是它不需要對隱變數進行直接的採樣或推理，而是通過疊代最佳化來逐步提高模型參數的估計值。EM算法的缺點是在某些情況下，它可能收斂到局部最優解，而不是全局最優解。此外，EM算法的收斂速度可能較慢，尤其是在隱變數較多的情況下。