第3章 估計量與抽樣分布
3.1 把算出的數字和算數字的規則分開
估計量 T 是從樣本算出數字的規則,估計值 t 是某一次資料代入後的結果。事先不知道會抽到什麼,所以 T 有自己的抽樣分布。這與資料值的分布不同,也不是把已看到的樣本整理成直方圖。要找小樣本的抽樣分布,可以列出所有可能樣本、算出各自 T,再把同一 T 的機率相加。
設 X₁,…,Xₙ 獨立同分布,共同平均 μ、有限變異數 σ²。把樣本平均記作 Mₙ=(X₁+⋯+Xₙ)/n。期望的線性性給 E[Mₙ]=μ,獨立使交叉協方差為零,故 Var(Mₙ)=σ²/n。抽樣分布的標準差稱為標準誤;此處為 σ/√n。若 σ 未知,常把下一段的樣本標準差 s 代入,得到估計標準誤 s/√n,不是單筆資料波動。
在 n≥2 時,S²=Σ(Xᵢ−Mₙ)²/(n−1) 是母體變異數的無偏估計量。展開 Xᵢ−μ=(Xᵢ−Mₙ)+(Mₙ−μ),交叉項因 Σ(Xᵢ−Mₙ)=0 消失,所以 Σ(Xᵢ−Mₙ)²=Σ(Xᵢ−μ)²−n(Mₙ−μ)²。取期望得 nσ²−n(σ²/n)=(n−1)σ²;這是除以 n−1 的理由。它不表示開根號後的 S 也無偏。
3.2 四個例題
例題1 列出平均的抽樣分布
兩次獨立公平伯努利試驗的四個有序序列各重 1/4。平均 0 來自 00,1/2 來自 01 與 10,1 來自 11。加權平均為 1/2,偏差平方加權為 (1/4)(1/4)+(1/4)(1/4)=1/8,而單個指標的變異數是 1/4。
例題2 同一批樣本可問兩種變異數
三個觀測 2、4、6,平均 4,偏差平方和為 4+0+4=8。描述這三筆時,變異數 8/3;在 IID 模型下估計母體變異數時,估計值 8/(3−1)=4。應先說目的,不把兩個分母混用。
例題3 平均的標準誤不是單次標準差
單次母體標準差為 6。獨立取 9 筆時,平均的標準誤是 6/√9=2;取 36 筆時是 6/√36=1。筆數四倍,平均的標準誤減半,單次波動仍是 6。
例題4 用一筆還是用四筆
四筆 IID 觀測,每筆變異數 9。T=X₁ 與 M₄ 的期望都為 μ,但 T 的變異數為 9;M₄ 為 (4×9)/4²=9/4。這是在同模型下比較兩條規則,並非保證此次 M₄ 一定較近。
3.3 練習
- B12-C03-Q01 兩次 IID 伯努利試驗的 p=1/4。平均 0、1/2、1 各有多少機率?
- B12-C03-Q02 上一題的平均估計量期望、變異數為何?
- B12-C03-Q03 觀測為 3、7,用 n−1 的樣本變異數為何?
- B12-C03-Q04 只有一筆觀測,能不能照用 S² 定義?
- B12-C03-Q05 IID 每筆變異數 16,樣本量 16,平均的標準誤?
- B12-C03-Q06 9 筆 IID 資料算出的 s=12,平均的估計標準誤?
- B12-C03-Q07 為什麼 E[M₅]=μ 的結論不需要五筆獨立?
- B12-C03-Q08 將一筆資料原樣複製 8 次,平均的抽樣變異數會縮小嗎?
- B12-C03-Q09 IID 資料 σ²=25,n=5;以 n 當分母的偏差平方平均,其期望為何?
- B12-C03-Q10 在同一母體的 IID 抽樣下,若樣本量從 n 增為 4n,平均的變異數與標準誤各變為幾倍?
3.4 完整解答
Q01
零次成功為 (3/4)²=9/16;恰一次為 2(1/4)(3/4)=6/16;兩次為 1/16。這三項和為 1。
Q02
E[M₂]=p=1/4。兩次獨立,Var(M₂)=p(1−p)/2=(1/4)(3/4)/2=3/32。亦可用上題三個質量重算。
Q03
平均 5,偏差 −2、2,平方和 8。樣本大小 2,分母 1,故 s²=8。
Q04
不能。此時 n−1=0。以 n 作分母的描述變異數是 0,但它只描述單筆,不能說母體變異數也為 0。
Q05
平均的變異數為 16/16=1,標準誤取非負平方根為 1。
Q06
代入 s/√n 得 12/3=4。這用樣本波動估計抽樣波動,不代表母體 σ 已知。
Q07
只要每筆期望皆為 μ,期望的線性性給 (μ+μ+μ+μ+μ)/5=μ。獨立用在消除協方差,不用在這一步。
Q08
不會。平均仍是那一筆,分布與原觀測相同。複製出的 8 筆完全相依,不能套 σ²/8。
Q09
偏差平方和期望為 (n−1)σ²=4×25。再除以 5 得 20,比真正的 25 小。
Q10
當原波動非零,變異數乘 1/4、標準誤乘 1/2,因方差分母是 n,標準差分母是 √n。若 σ=0,兩者一開始就為零,不談比值。