交替最小化問題

交替最小化（Alternating Minimization）是一種優化算法，用於解決具有特殊結構的優化問題。這種算法通常用於解決以下形式的問題：

[ \min_{x, y} f(x, y) \quad \text{s.t.} \quad x \in \mathcal{X}, y \in \mathcal{Y} ]

其中，$f(x, y)$ 是我們想要最小化的目標函數，而$x \in \mathcal{X}$ 和 $y \in \mathcal{Y}$ 分別是兩個變量的可行域。交替最小化算法的思想是交替地最小化目標函數對於每一個變量的值，保持另一個變量不變。

具體來說，交替最小化算法可以這樣工作：

1. 選擇一個初始點$(x^{(0)}, y^{(0)})$。
2. 在固定的$y^{(k)}$下，找到$x$的最小值，得到$x^{(k+1)}$。
3. 在固定的$x^{(k+1)}$下，找到$y$的最小值，得到$y^{(k+1)}$。
4. 重複步驟2和3，直到達到停止條件（如達到最大疊代次數或目標函數值變化很小）。

交替最小化算法的優點是它通常比直接解聯合優化問題更容易實現，因為它將原問題分解為兩個單獨的優化問題。然而，這種算法並不總是保證找到全局最小值，特別是在目標函數具有複雜結構時。

交替最小化的一個常見應用是在機器學習中的協方差估計問題，例如在PCA（主成分分析）中用於估計投影矩陣。此外，它還可以用於解決其他類型的優化問題，如圖像處理、信號處理和機器學習中的稀疏編碼問題。