利貝格最小值定律

利貝格最小值定律(Least Absolute Deviation, LAD),也稱為最小絕對偏差法或最小絕對誤差法,是一種統計學上的方法,用於尋找模型參數,使得模型的預測誤差(或偏差)的絕對值之和最小化。這與更常見的利欽斯坦最小值定律(Least Squares, LS)不同,後者是尋找模型參數,使得模型的預測誤差的平方和最小化。

利貝格最小值定律在某些情況下比利欽斯坦最小值定律更適合用於模型擬合,尤其是在存在極端值或異常點時,因為絕對值對這些極端值不敏感,而平方值則會賦予它們更大的影響。此外,LAD還具有更好的抗噪能力,因為它對離群值的影響不敏感。

在數學上,給定數據點 $(x_i, y_i)$,其中 $i = 1, 2, ..., n$,利貝格最小值定律尋找的模型參數 $\beta$ 滿足:

$$\beta = \arg\min{\beta} \sum{i=1}^{n} |y_i - \hat{y}_i|$$

其中 $\hat{y}_i = f(x_i, \beta)$ 是模型的預測值。

在實踐中,利貝格最小值定律可以用梯度下降法或其他的優化算法來解決。在線性模型中,LAD的解可以用簡單的代數方法得到。