損失函數最大似然

最大似然估算是一種統計學方法，用於找出最可能產生給定數據的模型參數。簡單來說，它尋找能使樣本數據出現機率最大的參數值。

假設我們有一個機率密度函數 ( f(x|\theta) )，其中 ( x ) 是觀察到的數據點，而 ( \theta ) 是模型的未知參數。最大似然估計的基本思想是：

1. 建立似然函數（Likelihood Function）：似然函數是根據所有樣本 ( x_1, x_2, ..., x_n ) 計算得出的，表示數據由某組特定參數 ( \theta ) 生成的機率。似然函數定義為： [ L(\theta|x_1,x_2,...,x_n) = f(x_1|\theta) \times f(x_2|\theta) \times ... \times f(x_n|\theta) ]

2. 求最大值：最大化似然函數，找到最可能的參數 ( \hat{\theta} )，使得似然函數取到的最大值。這可以通過求導並令其等於零，然後解出 ( \theta ) 的值來實現。

[ \frac{\partial L(\theta|x_1,x_2,...,x_n)}{\partial \theta} = 0 ]

3. 模型參數估計：找到的最大似然估計 ( \hat{\theta} ) 就是使數據最有可能出現的模型參數值。

[ \hat{\theta}{ML} = \arg\max{\theta} L(\theta|x_1,x_2,...,x_n) ]

最大似然估算是機器學習和統計推斷中常用的方法之一，特別是在機率模型中。例如，在二項分佈中，可以使用最大似然來估算成功機率 ( p )，在線性回歸模型中，可以用於估計斜率和截距等。