交替最小化

交替最小化（Alternating Minimization）是一種最佳化算法，用於尋找多個變數的函式的最小值。這種算法通過交替最佳化每個變數，同時保持其他變數固定，從而逐步逼近全局最小值。

交替最小化算法的步驟如下：

初始化：選擇一個初始點，即一組初始變數值。
交替最佳化：
- 固定除一個變數外的所有變數，找到那個變數的最小值。
- 固定除另一個變數外的所有變數，找到這個變數的最小值。
- 不斷交替進行，直到所有變數都更新了一次。
更新：根據變數的更新規則，更新所有變數。
檢查停止條件：如果達到最大疊代次數或者函式值的變化小於某個閾值，則停止算法；否則，返回步驟2。

交替最小化算法在處理某些最佳化問題時非常有效，尤其是在處理約束最佳化問題或者大規模最佳化問題時。這種算法的一個優點是它通常比直接最佳化所有變數的算法更容易實現，因為它只需要考慮一個變數。

交替最小化算法的一個典型套用是在機器學習和信號處理中的交替方向乘子法（ADMM）算法。ADMM是一種用於解決凸最佳化問題的疊代算法，它通過將原始問題分解為更容易處理的子問題來工作。交替最小化是ADMM算法中的一個關鍵步驟。