第十二冊 v0.2 · 網站閱讀版

第4章 偏誤、變異與均方誤差

本章小節
  1. 4.1 用平方損失衡量兩種誤差
  2. 4.2 四個例題
  3. 4.3 練習
  4. 4.4 完整解答

4.1 用平方損失衡量兩種誤差

偏誤是估計量在重複抽樣下的平均偏離:Bias(T)=E[T]−θ。偏誤可以隨真參數 θ 改變,也可能是常數。單次差值 T−θ 不等於偏誤。變異數量的是 T 繞 E[T] 的波動。小變異數不保證接近目標,例如總猜固定值就沒有抽樣變異。

若 E[T²] 有限,均方誤差 MSE=E[(T−θ)²]。把 T−θ 拆成 (T−E[T])+(E[T]−θ),平方後有兩個平方和一個交叉項。交叉項的期望是 2(E[T]−θ)E[T−E[T]]=0,故 MSE=Var(T)+Bias(T)²。偏誤有正負,平方損失中的偏誤項總是非負。

比較要在同一目標、同一資料機制和同一損失下進行。小樣本把估計往一個基準值拉,可能減少變異、增加偏誤;是否有利須看參數值。沒有資料之外的理由時,不能從一個 θ 上的優劣推到所有 θ。

在 p=1/5,T=X 的中心為 1/5;S=X/2+1/4 的中心為 7/20,兩個可能值 1/4、3/4。
圖7|在 p=1/5,T=X 的中心為 1/5;S=X/2+1/4 的中心為 7/20,兩個可能值 1/4、3/4。

4.2 四個例題

例題1 小變異數可以補償小偏誤

只觀測一個伯努利 X,真 p=1/5。T=X 無偏,MSE=(1/5)(4/5)=4/25。S=X/2+1/4 的期望 7/20,偏誤 3/20;變異數是 (4/25)/4=1/25,所以 MSE=1/25+(3/20)²=1/16。對這個 p,S 的平方損失平均較小。

例題2 換一個參數,優劣會換

沿用上例,在 p=0,X 永遠是 0。T 正好等於真值,MSE=0;S 不再波動卻定在 1/4,MSE=(1/4−0)²=1/16。這否定「縮小變異就能處處較好」。

例題3 加上常數不會降低波動

假定 4 筆 IID,單筆變異數 16。M₄ 無偏、MSE=16/4=4;T=M₄+2 的變異數一樣是 4,偏誤變成 2,MSE=4+2²=8。平移只改中心。

例題4 反例:較集中的估計反而較差

在 θ=10 的模型,第一法的結果是 11 或 13,各半;平均 12、變異數 1,MSE=1+2²=5。第二法是 8 或 12,各半;平均 10、變異數 4,MSE=4。第一法較集中,卻集中在偏離目標的地方。

θ=10 時第一法變異數 1、偏誤平方 4,MSE=5;第二法變異數 4、偏誤平方 0,MSE=4。
圖8|θ=10 時第一法變異數 1、偏誤平方 4,MSE=5;第二法變異數 4、偏誤平方 0,MSE=4。

4.3 練習

  1. B12-C04-Q01 E[T]=12、θ=10、Var(T)=9,偏誤與 MSE?
  2. B12-C04-Q02 偏誤 −3、變異數 4,MSE?
  3. B12-C04-Q03 若 T−θ 取 −1 或 3,各半,求偏誤、變異數與 MSE。
  4. B12-C04-Q04 估計規則總是輸出 4,在 θ=6 時的 MSE?
  5. B12-C04-Q05 25 筆 IID,每筆變異數 100,以樣本平均估計共同平均 μ,MSE 為何?
  6. B12-C04-Q06 五個公平獨立伯努利指標,用成功比例估 p;MSE?
  7. B12-C04-Q07 9 筆 IID,單筆變異數 9,用 M₉−1 估 μ,MSE?
  8. B12-C04-Q08 兩估計量在相同 θ 都無偏,能只用變異數比較此處的平方損失嗎?
  9. B12-C04-Q09 例題 1 的 p 若是 1/2,兩估計量 MSE 各為何?
  10. B12-C04-Q10 用分鐘估平均等待時間;MSE 單位是什麼?改成秒會怎樣?

4.4 完整解答

Q01

偏誤是 12−10=2。MSE=9+2²=13,不是加上有符號的 2。

Q02

負偏誤平方為 9,與變異數相加得 13。

Q03

誤差平均 1,所以偏誤 1;兩偏差為 −2、2,變異數 4。誤差平方平均 (1+9)/2=5,亦為 4+1²。

Q04

沒有抽樣波動;每次誤差為 −2。MSE=(4−6)²=4。

Q05

對 μ 無偏,MSE 就是平均的變異數 100/25=4。

Q06

比例無偏,MSE=p(1−p)/5=(1/2)(1/2)/5=1/20。

Q07

平均的變異數 9/9=1,減 1 不改變異數,但偏誤 −1,故 MSE=1+1=2。

Q08

能。由 MSE=Var(T)+Bias(T)²,兩偏誤都為零,同一 θ 下 MSE 正好等於變異數;這不涉及其他損失函數。

Q09

T 無偏,MSE=1/4;S 期望 (1/2)/2+1/4=1/2 也無偏,變異數縮為 (1/4)/4=1/16。

Q10

誤差用分鐘,平方後是平方分鐘。改成秒時每個誤差乘 60,MSE 數值乘 60²=3,600,估計方法本身並未變差。