第4章 偏誤、變異與均方誤差
4.1 用平方損失衡量兩種誤差
偏誤是估計量在重複抽樣下的平均偏離:Bias(T)=E[T]−θ。偏誤可以隨真參數 θ 改變,也可能是常數。單次差值 T−θ 不等於偏誤。變異數量的是 T 繞 E[T] 的波動。小變異數不保證接近目標,例如總猜固定值就沒有抽樣變異。
若 E[T²] 有限,均方誤差 MSE=E[(T−θ)²]。把 T−θ 拆成 (T−E[T])+(E[T]−θ),平方後有兩個平方和一個交叉項。交叉項的期望是 2(E[T]−θ)E[T−E[T]]=0,故 MSE=Var(T)+Bias(T)²。偏誤有正負,平方損失中的偏誤項總是非負。
比較要在同一目標、同一資料機制和同一損失下進行。小樣本把估計往一個基準值拉,可能減少變異、增加偏誤;是否有利須看參數值。沒有資料之外的理由時,不能從一個 θ 上的優劣推到所有 θ。
4.2 四個例題
例題1 小變異數可以補償小偏誤
只觀測一個伯努利 X,真 p=1/5。T=X 無偏,MSE=(1/5)(4/5)=4/25。S=X/2+1/4 的期望 7/20,偏誤 3/20;變異數是 (4/25)/4=1/25,所以 MSE=1/25+(3/20)²=1/16。對這個 p,S 的平方損失平均較小。
例題2 換一個參數,優劣會換
沿用上例,在 p=0,X 永遠是 0。T 正好等於真值,MSE=0;S 不再波動卻定在 1/4,MSE=(1/4−0)²=1/16。這否定「縮小變異就能處處較好」。
例題3 加上常數不會降低波動
假定 4 筆 IID,單筆變異數 16。M₄ 無偏、MSE=16/4=4;T=M₄+2 的變異數一樣是 4,偏誤變成 2,MSE=4+2²=8。平移只改中心。
例題4 反例:較集中的估計反而較差
在 θ=10 的模型,第一法的結果是 11 或 13,各半;平均 12、變異數 1,MSE=1+2²=5。第二法是 8 或 12,各半;平均 10、變異數 4,MSE=4。第一法較集中,卻集中在偏離目標的地方。
4.3 練習
- B12-C04-Q01 E[T]=12、θ=10、Var(T)=9,偏誤與 MSE?
- B12-C04-Q02 偏誤 −3、變異數 4,MSE?
- B12-C04-Q03 若 T−θ 取 −1 或 3,各半,求偏誤、變異數與 MSE。
- B12-C04-Q04 估計規則總是輸出 4,在 θ=6 時的 MSE?
- B12-C04-Q05 25 筆 IID,每筆變異數 100,以樣本平均估計共同平均 μ,MSE 為何?
- B12-C04-Q06 五個公平獨立伯努利指標,用成功比例估 p;MSE?
- B12-C04-Q07 9 筆 IID,單筆變異數 9,用 M₉−1 估 μ,MSE?
- B12-C04-Q08 兩估計量在相同 θ 都無偏,能只用變異數比較此處的平方損失嗎?
- B12-C04-Q09 例題 1 的 p 若是 1/2,兩估計量 MSE 各為何?
- B12-C04-Q10 用分鐘估平均等待時間;MSE 單位是什麼?改成秒會怎樣?
4.4 完整解答
Q01
偏誤是 12−10=2。MSE=9+2²=13,不是加上有符號的 2。
Q02
負偏誤平方為 9,與變異數相加得 13。
Q03
誤差平均 1,所以偏誤 1;兩偏差為 −2、2,變異數 4。誤差平方平均 (1+9)/2=5,亦為 4+1²。
Q04
沒有抽樣波動;每次誤差為 −2。MSE=(4−6)²=4。
Q05
對 μ 無偏,MSE 就是平均的變異數 100/25=4。
Q06
比例無偏,MSE=p(1−p)/5=(1/2)(1/2)/5=1/20。
Q07
平均的變異數 9/9=1,減 1 不改變異數,但偏誤 −1,故 MSE=1+1=2。
Q08
能。由 MSE=Var(T)+Bias(T)²,兩偏誤都為零,同一 θ 下 MSE 正好等於變異數;這不涉及其他損失函數。
Q09
T 無偏,MSE=1/4;S 期望 (1/2)/2+1/4=1/2 也無偏,變異數縮為 (1/4)/4=1/16。
Q10
誤差用分鐘,平方後是平方分鐘。改成秒時每個誤差乘 60,MSE 數值乘 60²=3,600,估計方法本身並未變差。