最小均方誤差

最小均方誤差(Minimum Mean Squared Error, MMSE)是一種估計理論,用於在有雜訊的信號中估計出原始信號。在信號處理、通訊和統計學中,當我們想要估計一個變量(通常是信號)的值時,我們會使用這個概念。

在給定的模型下,我們可以定義一個估計量,這個估計量是對原始信號的一個估計。最小均方誤差估計量是所有可能的估計量中,擁有最小均方誤差的估計量。均方誤差(MSE)是估計值和真實值之間的差值的平方和,然後除以樣本數。

最小均方誤差的公式可以表示為:

[ \hat{x} = \arg \min_{\hat{x}} E[(x - \hat{x})^2] ]

其中,( x )是原始信號,( \hat{x} )是估計的信號,( E[\cdot] )表示對期望值的計算。

在實際應用中,我們通常無法直接計算期望值,因此我們會使用樣本平均值作為估計量。在這種情況下,最小均方誤差的估計量就是樣本平均值。

最小均方誤差估計量有一個很好的性質,那就是它是一個無偏估計量,並且在給定的模型下,它是有效估計量。這意味著它不僅估計的值準確,而且估計的方差也最小。