最大似然估计

最大似然估計（Maximum Likelihood Estimation, MLE）是一種統計方法，用於估計參數值，使得從模型中得到的數據出現的機率最大。這種方法的基本思想是：如果模型中參數的值使得觀察到數據的機率最大，那麼這些參數值就是最可能的。

步驟如下：

1. 確定模型：首先，需要選擇一個機率分布模型來描述數據。這個模型包含一些參數，我們需要找到這些參數的最佳值。

2. 寫出似然函式：似然函式（Likelihood function）是數據出現的機率的乘積。對於給定的參數值，我們可以計算這個乘積。

3. 最大化似然函式：我們需要找到參數的值，使得似然函式達到最大值。這通常通過使用最佳化算法（如梯度上升法）來完成。

4. 計算置信區間：一旦我們找到了最大似然估計，我們可以使用Bootstrap方法或通過 Hessian矩陣計算置信區間。

5. 假設檢驗：我們可以使用似然比檢驗（Likelihood Ratio Test）或其他方法來檢驗我們的假設。

最大似然估計的一個例子是高斯分布（常態分配）的參數估計。假設我們有一組數據，我們想用高斯分布來擬合這些數據。高斯分布的密度函式為：

$$ f(x \mid \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} $$

其中，$\mu$是均值，$\sigma^2$是方差。為了使用最大似然估計來估計$\mu$和$\sigma^2$，我們需要寫出似然函式。由於似然函式是數據點出現的機率的乘積，對於每個數據點$x_i$，我們有：

$$ L(\mu, \sigma^2) = \prod_{i=1}^n f(x_i \mid \mu, \sigma^2) $$

我們需要找到$\mu$和$\sigma^2$的值，使得這個乘積最大。這通常通過使用最佳化算法來完成。一旦我們找到了最大似然估計，我們就可以使用這些估計來做出關於數據的推斷。