第十二冊 v0.2 · 網站閱讀版

第8章 檢定與證據強弱

本章小節
  1. 8.1 事先定義什麼結果算反對虛無模型
  2. 8.2 四個例題
  3. 8.3 練習
  4. 8.4 完整解答

8.1 事先定義什麼結果算反對虛無模型

檢定先提出虛無假設 H₀,再說明對哪些替代 H₁ 敏感。例如五次 IID 伯努利試驗,H₀:p=1/2,H₁:p>1/2,成功數 K 愈大愈反對 H₀。拒絕區域須先選;若 H₀ 真,錯誤拒絕是第一類錯誤。顯著水準 α 是對這項錯誤機率的上限,離散模型的實際錯誤率可能比 α 小。

若 H₁ 中真參數為 p,未拒絕的機率 β(p) 是該點的第二類錯誤機率,檢定力為 1−β(p)。它取決於真 p、樣本量和拒絕區域。把 α 壓低而資料量不變,往往也更難偵測某些偏離。一次未拒絕不表示兩種情況相等。

對固定樣本計畫與單一虛無模型,一側 p 值是在 H₀ 下,統計量達到這次觀測或更偏向 H₁ 的機率。本例就是 P₀(K≥k)。雙側需先說何謂兩邊都極端,不能所有檢定都直接把一側乘二。p 值不等於 H₀ 為真的機率,也不告訴你差異有多大。看過資料才改方向、改停止規則或多次挑最小值,原來的錯誤控制未必適用。

H₀:p=1/2、n=5,六柱質量為 1、5、10、10、5、1 除以 32;α=0.05 時右端 K=5 才拒絕。
圖15|H₀:p=1/2、n=5,六柱質量為 1、5、10、10、5、1 除以 32;α=0.05 時右端 K=5 才拒絕。

8.2 四個例題

例題1 把 α 和真正的第一類錯誤分開

五次 IID,H₀:p=1/2。若只在五次全成才拒絕,第一類錯誤為 (1/2)⁵=1/32,即 0.03125,不超過 α=0.05。因 K 的機率是離散的,這個不隨機化規則不必剛好用完 0.05。

例題2 觀測四次成功的右尾 p 值

H₀ 下 K=4 有 5 個序列,K=5 有 1 個,各序列重 1/32。故 p 值為 (5+1)/32=3/16=0.1875,高於 0.05;本次不拒絕。只取 K=4 的機率會漏掉更極端結果。

例題3 若 p=3/4,規則抓得到幾次

仍只在 K=5 拒絕。當 p=3/4,檢定力為 (3/4)⁵=243/1024,第二類錯誤機率為 781/1024。即使真的偏高,小樣本多數時候仍未拒絕。

α=0.05 的右尾規則 K=5 才拒絕;H₀:p=1/2 與 p=3/4 下拒絕率為 1/32、243/1024。
圖16|α=0.05 的右尾規則 K=5 才拒絕;H₀:p=1/2 與 p=3/4 下拒絕率為 1/32、243/1024。

例題4 雙側先指定極端的排序

四次 IID 與 H₀:p=1/2,預先以 |K−2| 判斷偏離。觀測 K=4 時,至少同樣極端的是 K=0 或 4,各 1/16,故雙側 p 值 1/8。若另換不對稱的 H₀ 或排序,不能沿用這個加倍。

8.3 練習

  1. B12-C08-Q01 五次 IID,H₀:p=1/2,觀測 K=3,右尾 p 值?
  2. B12-C08-Q02 同一檢定觀測 K=5,α=0.05 時該拒絕嗎?
  3. B12-C08-Q03 若把拒絕區域改成 K≥4,還是 0.05 水準嗎?
  4. B12-C08-Q04 五次 IID 伯努利試驗,採 K=5 才拒絕的規則,真 p=3/5 時的第二類錯誤機率?
  5. B12-C08-Q05 四次 IID,全失敗;H₀:p=1/2,事先訂左尾。p 值?
  6. B12-C08-Q06 沿用五次 IID 伯努利試驗且只在 K=5 時拒絕的規則。H₀:p=1/2 為真時,未拒絕機率?
  7. B12-C08-Q07 p 值 0.03 能說效應大小是 3% 嗎?
  8. B12-C08-Q08 比較「P₀(結果至少這麼極端)」與「給定結果後 H₀ 為真」。哪一項是 p 值?
  9. B12-C08-Q09 兩個獨立檢定的虛無皆真,實際第一類錯誤率各 0.05。至少一個錯誤拒絕的機率?
  10. B12-C08-Q10 例題 3 未拒絕時,可寫「已證明 p=1/2」嗎?

8.4 完整解答

Q01

加總 K=3、4、5 的三項,得 (10+5+1)/32=1/2。

Q02

右尾只剩 K=5,p 值 1/32=0.03125≤0.05,照事先規則拒絕;這不是保證任何替代為真。

Q03

不是。H₀ 的拒絕機率 3/16 高於 0.05,實際第一類錯誤超過指定上限。

Q04

拒絕須五次全成功,機率 (3/5)⁵=243/3125。其補集是 1−243/3125=2882/3125。

Q05

觀測 K=0,左尾 K≤0 只含零,機率 (1/2)⁴=1/16。若事先訂的是右尾,答案會不同。

Q06

是 1−1/32=31/32。H₀ 真時未拒絕不叫第二類錯誤;第二類錯誤只在替代為真時定義。

Q07

不能。0.03 是虛無模型下的尾機率,大小受樣本量與波動影響;效應大小要從估計值及其單位來報。

Q08

前者是 p 值,機率方向從假設指向資料。後者另需對假設與資料的機率模型,不能把條件方向直接交換。

Q09

兩個都不拒絕的機率 (19/20)²;取補集得 39/400=0.0975。不因每個單獨是 0.05 而使整組仍是 0.05。

Q10

不行。在 p=3/4 時同一規則也有 781/1024 不拒絕。未拒絕只表示資料未達到指定拒絕門檻。