最大似然法則

最大似然法則（Maximum Likelihood Principle，MLP）是一種統計學方法，用於估計參數值，使得觀察到的數據或樣本出現的機率最大。這個方法的基本思想是：如果我們有一組數據，並且我們想要估計一個模型中的參數，那麼我們應該選擇那些使數據出現的可能性最大的參數值。

具體來說，假設我們有一個模型，它由一些參數θ控制，並且我們有一組數據D。我們想要找到最佳的參數值θ*，使得數據D出現的機率P(D|θ)最大。這個機率通常很難直接計算，但是我們可以使用對數似然函數來近似它：

L(θ) = log P(D|θ)

我們想要找到θ，使得L(θ)最大。這個過程稱為最大似然估計（Maximum Likelihood Estimation, MLE）。

例如，假設我們有一個伯努利試驗的數據，我們想要估計成功機率p。我們可以假設一個二項分布的模型，並且使用最大似然法則來估計p的值。假設我們進行了n次試驗，並且成功了k次。那麼我們可以寫出對數似然函數：

L(p) = log P(D|p) = log P(k|n, p)

根據二項分布的性質，我們有：

P(k|n, p) = C(n, k) p^k (1-p)^(n-k)

其中C(n, k)是n次取k次的組合數。將這個機率寫入對數似然函數中，我們得到：

L(p) = k log(p) + (n-k) log(1-p)

現在我們想要找到p，使得L(p)最大。這通常通過求解L'(p) = 0來實現，或者使用更複雜的優化算法。在這個例子中，我們可以解出L'(p) = 0，得到：

p* = k / n

這就是最大似然估計的結果。