第十二冊 v0.2 · 網站閱讀版

第6章 充分統計量

本章小節
  1. 6.1 哪些彙總在指定模型下不丟失參數資訊
  2. 6.2 四個例題
  3. 6.3 練習
  4. 6.4 完整解答

6.1 哪些彙總在指定模型下不丟失參數資訊

統計量 T 把整筆資料 x 變成較簡短的 t。在有限觀測空間中,若每個可能的 t 都有一組固定的條件分布 P(X=x|T=t),而且它在所有讓 Pθ(T=t)>0 的參數 θ 下都相同,就說 T 對 θ 充分。條件機率分母為零的參數不拿來比較。充分不表示能重建看見的資料順序,更不表示一個統計量對所有模型都充分。

若機率可以用非負因子寫成 Pθ(X=x)=gθ(T(x))h(x),其中 h 與 θ 無關,在 T=t 的一組資料內加總得 Pθ(T=t)=gθ(t)Σh(x)。當這個分母為正,條件分布只剩 h(x)/Σh(x),不再含 θ,所以 T 充分。反過來,若 T 充分,可將每一組的共同條件分布當作 h,取 gθ(t)=Pθ(T=t)。若一組對所有 θ 都不可能,可任取組內分布,乘上零仍給正確機率。

伯努利 IID 序列的似然只由成功總數 K 決定。在相同 k 的每個有序序列,機率均為 pᵏ(1−p)^(n−k);只要該組有正機率,組內就均分為 1/C(n,k)。如果第二次成功率改為 p²,即使總成功數沒變,成功出現在哪一格也可能提供關於 p 的資訊。

兩個 IID 伯努利試驗由 00、01、10、11 彙總成成功數 0、1、2;已知 K=1 時 01、10 各半。
圖11|兩個 IID 伯努利試驗由 00、01、10、11 彙總成成功數 0、1、2;已知 K=1 時 01、10 各半。

6.2 四個例題

例題1 知道總數後順序不再透露 p

兩次 IID,給定 K=1。01 和 10 都重 p(1−p),且 K=1 的質量為 2p(1−p)。0<p<1 時兩條件率皆 1/2。K=0、2 皆只有一個序列,於是 K 充分。

例題2 只保留第一筆不充分

在相同的兩次 IID 模型,保留 T=X₁。給定 T=0 後第二步成功率仍是 p。比較 p=1/4 和 3/4 得不同條件率,否定充分性。

例題3 總數可能漏掉資訊

獨立但兩次的成功率為 p、p²。當 0<p<1 且 K=1,10 的權重 p(1−p²),01 的權重 (1−p)p²。把共同因子 p(1−p) 約去,10 的條件率為 (1+p)/(1+2p)。它在 p=1/4 是 5/6,p=3/4 是 7/10,故 K 不充分。

若兩次成功率是 p、p²,已知 K=1 時 P(10|K=1) 在 p=1/4 為 5/6,在 p=3/4 為 7/10。
圖12|若兩次成功率是 p、p²,已知 K=1 時 P(10|K=1) 在 p=1/4 為 5/6,在 p=3/4 為 7/10。

例題4 從計數式重建相對權重

四次 IID,給定 K=2 且該觀測有正機率。有 C(4,2)=6 個可能序列;由共同似然因子可知每個占 1/6。保留 K 足以做關於 p 的似然比較,但不能從 K 知道人實際看到哪個序列。

6.3 練習

  1. B12-C06-Q01 三次 IID,0<p<1 且 K=1。指定序列 001 的條件機率?
  2. B12-C06-Q02 三次 IID,p<1。給定 K=0,資料為 000 的條件率?
  3. B12-C06-Q03 p=0 時能用 K=1 作條件嗎?
  4. B12-C06-Q04 四次 IID 公平試驗,給定 K=2 時指定有序序列 1010 的機率?
  5. B12-C06-Q05 兩次 IID,用 3K+2 代替 K,會喪失充分性嗎?
  6. B12-C06-Q06 只觀察一次伯努利,用常數 T=0 當統計量,是否對 p 充分?
  7. B12-C06-Q07 三次 IID 有 K=2,參數 3/4 對 1/4 的似然比?
  8. B12-C06-Q08 兩次 IID 只留 K 的奇偶。用『偶數』組說明它不充分。
  9. B12-C06-Q09 因子分解中某筆的 h(x)=0,而它所在的組有正機率,該筆條件率是多少?
  10. B12-C06-Q10 兩次 IID 的 Pp(X=x) 可寫成 gₚ(K)h(x)。取哪個 h,並算 K=1 時的比值?

6.4 完整解答

Q01

三個成功位置同重 p(1−p)²。給定 K=1,就剩三個等可能位置,各 1/3。

Q02

K=0 只能由 000 產生,且 p<1 使該事件正機率,故比值 (1−p)³/(1−p)³=1。

Q03

不能。此時試驗都失敗,P(K=1)=0。充分性的比較只在這個 t 確實可能的參數上進行。

Q04

單一序列原質量 1/16,而 K=2 總質量 6/16,兩者相除為 1/6。

Q05

不會。知道 3K+2 就能反算 K,再取同一組內的條件分布。這是可逆重標記,不是合併不同的 K。

Q06

不充分。T=0 是必然事件,此條件下 X=1 的機率仍是 p,並未去除參數。

Q07

共同的排列乘數抵消。比值為 [(3/4)²(1/4)]/[(1/4)²(3/4)]=3;比值不是參數機率。

Q08

偶數組為 00 或 11,後者條件率 p²/[(1−p)²+p²]。p=1/4 得 1/10,p=3/4 得 9/10;條件規則仍依 p。

Q09

是 0。分子含 h(x)=0,分母是該組各 h 之和且為正;不是把零除零硬定義為零。

Q10

取所有允許序列的 h(x)=1,gₚ(k)=pᵏ(1−p)^(2−k),端點可直接以原機率讀取。K=1 且組有正質量時,組內兩個 1 正規化成 1/(1+1)=1/2。