第5章 最大似然估計
5.1 固定資料,問哪個模型參數最能解釋它
在本章的離散觀測模型中,每個參數 θ 都給觀測資料 x 一個機率。觀察到 x 後固定 x,把 L(θ;x)=Pθ(X=x) 視為 θ 的函數,稱為似然。固定 θ 時,對所有觀測資料 x 的機率求和為 1。似然在參數上不需要求和為 1。選使 L 最大的參數稱為最大似然估計值。這不是參數的後驗機率。
在有限參數集合上,可逐列比較;有並列就保留全部最大值。有些觀測在所有候選參數下都不可能,這要先回頭檢查模型或資料,不能用一個任意並列點解讀。若參數連續,則要先寫參數空間;上確界可能不在空間內,不能把接近最大叫做已達到最大。
有 n≥1 次 IID 伯努利,觀察到的有序序列共 k 次成功。由獨立性,L(p)=pᵏ(1−p)^(n−k)。當 0<k<n,兩端的似然為零,在 0<p<1 可對 log L 微分:導數 k/p−(n−k)/(1−p) 的符號與 k−np 相同。它在 p=k/n 左正右負,所以最大值在 k/n。當 k=0 或 n,直接用 (1−p)ⁿ 或 pⁿ 查端點,不對零取對數。若只觀察成功數,似然乘與 p 無關的 C(n,k),最大點不變。
5.2 四個例題
例題1 四次三成一敗
觀察 1110。L(p)=p³(1−p),從導數的符號 3−4p 知 L 先升後降。p=3/4 時 L=(3/4)³(1/4)=27/256;p=1/2 時 L=1/16,比峰值小。
例題2 全部失敗,要回頭看參數空間
四次都是 0。L(p)=(1−p)⁴ 隨 p 減少而上升。在 [0,1] 上最大點 p=0,L=1;在 (0,1) 上任何 p 都可以再減半而提高 L,故不存在 MLE,只能說上確界為 1。
例題3 有限格點可能並列
只允許 p=1/4 或 3/4,觀察 01。兩個似然都為 p(1−p)=3/16,兩者都達最大;不能把 1/2 取作估計,因它不在模型的參數集合。
例題4 似然較大不等於後驗機率較大
候選 p=2/5 或 4/5,獨立兩次皆成功。似然分別為 4/25、16/25,後者大四倍,所以有限模型的 MLE 為 4/5。若要說參數的機率,還需指定另一套對參數的概率模型。
5.3 練習
- B12-C05-Q01 五次 IID 伯努利有兩次成功,p∈[0,1]。MLE 為何?
- B12-C05-Q02 四次 IID 伯努利試驗,p=1/2。固定序列 1110 與「共三次成功」的機率各為何?
- B12-C05-Q03 IID 伯努利的有序資料,n=4、k=1。比較 p=1/4 與 1/2 的似然。
- B12-C05-Q04 三次 IID 全成,p∈[0,1] 的 MLE?
- B12-C05-Q05 上題若限制 p∈(0,1),把 p=0.999 寫成 MLE 合理嗎?
- B12-C05-Q06 格點 p=1/4、1/2、3/4;兩次 IID 伯努利試驗均失敗,哪一格最好?
- B12-C05-Q07 伯努利模型輸入一筆觀測值 2;應報一個 MLE 嗎?
- B12-C05-Q08 把整條似然乘一個與參數無關的正數,最大點集合會變嗎?
- B12-C05-Q09 兩次獨立成功率分別為 p、p²,見 10,p∈[0,1]。MLE?
- B12-C05-Q10 只有相異標籤的兩個參數,但它們給完全同一觀測分布,能透過最大似然分辨嗎?
5.4 完整解答
Q01
此為內點情形 0<2<5。導數符號取決於 2−5p,故最大點 p=2/5。
Q02
前者是單一序列,機率 (1/2)⁴=1/16。後者含四種失敗位置,總機率 4/16=1/4。
Q03
p=1/4 給 (1/4)(3/4)³=27/256;1/2 給 1/16=16/256。前者大,亦恰是連續參數空間的最大點。
Q04
L(p)=p³ 隨 p 增加,且 1 可取,所以最大點是 p=1,最大似然 1。
Q05
不合理。任取 p<1,(1+p)/2 更大且仍小於 1,給更高似然。可接近 1,不存在最大點。
Q06
三個似然依次為 9/16、1/4、1/16。最大的在 p=1/4。
Q07
不應。2 不在該觀測空間;若硬寫每個 p 的似然都給零,也只是所有候選皆不相容。應先查資料編碼或模型。
Q08
不會。正數乘法保序,也保留等號,所以所有大小比較、並列點均相同。若倍率依參數而變則不能如此判定。
Q09
似然 p(1−p²)=p−p³,導數 1−3p²。在 1/√3 左方正、右方負,兩端似然皆零,所以最大點為 1/√3,而非 1/2。
Q10
同一資料的機率在兩標籤下相同,似然永遠並列。重複使用同一不可辨識的觀測模型也不能只靠似然把它們區分。