第十二冊 v0.2 · 網站閱讀版

第3章 估計量與抽樣分布

本章小節
  1. 3.1 把算出的數字和算數字的規則分開
  2. 3.2 四個例題
  3. 3.3 練習
  4. 3.4 完整解答

3.1 把算出的數字和算數字的規則分開

估計量 T 是從樣本算出數字的規則,估計值 t 是某一次資料代入後的結果。事先不知道會抽到什麼,所以 T 有自己的抽樣分布。這與資料值的分布不同,也不是把已看到的樣本整理成直方圖。要找小樣本的抽樣分布,可以列出所有可能樣本、算出各自 T,再把同一 T 的機率相加。

設 X₁,…,Xₙ 獨立同分布,共同平均 μ、有限變異數 σ²。把樣本平均記作 Mₙ=(X₁+⋯+Xₙ)/n。期望的線性性給 E[Mₙ]=μ,獨立使交叉協方差為零,故 Var(Mₙ)=σ²/n。抽樣分布的標準差稱為標準誤;此處為 σ/√n。若 σ 未知,常把下一段的樣本標準差 s 代入,得到估計標準誤 s/√n,不是單筆資料波動。

在 n≥2 時,S²=Σ(Xᵢ−Mₙ)²/(n−1) 是母體變異數的無偏估計量。展開 Xᵢ−μ=(Xᵢ−Mₙ)+(Mₙ−μ),交叉項因 Σ(Xᵢ−Mₙ)=0 消失,所以 Σ(Xᵢ−Mₙ)²=Σ(Xᵢ−μ)²−n(Mₙ−μ)²。取期望得 nσ²−n(σ²/n)=(n−1)σ²;這是除以 n−1 的理由。它不表示開根號後的 S 也無偏。

兩次獨立公平指標的平均可為 0、1/2、1,質量各為 1/4、1/2、1/4。
圖5|兩次獨立公平指標的平均可為 0、1/2、1,質量各為 1/4、1/2、1/4。

3.2 四個例題

例題1 列出平均的抽樣分布

兩次獨立公平伯努利試驗的四個有序序列各重 1/4。平均 0 來自 00,1/2 來自 01 與 10,1 來自 11。加權平均為 1/2,偏差平方加權為 (1/4)(1/4)+(1/4)(1/4)=1/8,而單個指標的變異數是 1/4。

例題2 同一批樣本可問兩種變異數

三個觀測 2、4、6,平均 4,偏差平方和為 4+0+4=8。描述這三筆時,變異數 8/3;在 IID 模型下估計母體變異數時,估計值 8/(3−1)=4。應先說目的,不把兩個分母混用。

例題3 平均的標準誤不是單次標準差

單次母體標準差為 6。獨立取 9 筆時,平均的標準誤是 6/√9=2;取 36 筆時是 6/√36=1。筆數四倍,平均的標準誤減半,單次波動仍是 6。

母體標準差 6;獨立抽樣 n=9、36 時,平均的標準誤分別為 2、1。
圖6|母體標準差 6;獨立抽樣 n=9、36 時,平均的標準誤分別為 2、1。

例題4 用一筆還是用四筆

四筆 IID 觀測,每筆變異數 9。T=X₁ 與 M₄ 的期望都為 μ,但 T 的變異數為 9;M₄ 為 (4×9)/4²=9/4。這是在同模型下比較兩條規則,並非保證此次 M₄ 一定較近。

3.3 練習

  1. B12-C03-Q01 兩次 IID 伯努利試驗的 p=1/4。平均 0、1/2、1 各有多少機率?
  2. B12-C03-Q02 上一題的平均估計量期望、變異數為何?
  3. B12-C03-Q03 觀測為 3、7,用 n−1 的樣本變異數為何?
  4. B12-C03-Q04 只有一筆觀測,能不能照用 S² 定義?
  5. B12-C03-Q05 IID 每筆變異數 16,樣本量 16,平均的標準誤?
  6. B12-C03-Q06 9 筆 IID 資料算出的 s=12,平均的估計標準誤?
  7. B12-C03-Q07 為什麼 E[M₅]=μ 的結論不需要五筆獨立?
  8. B12-C03-Q08 將一筆資料原樣複製 8 次,平均的抽樣變異數會縮小嗎?
  9. B12-C03-Q09 IID 資料 σ²=25,n=5;以 n 當分母的偏差平方平均,其期望為何?
  10. B12-C03-Q10 在同一母體的 IID 抽樣下,若樣本量從 n 增為 4n,平均的變異數與標準誤各變為幾倍?

3.4 完整解答

Q01

零次成功為 (3/4)²=9/16;恰一次為 2(1/4)(3/4)=6/16;兩次為 1/16。這三項和為 1。

Q02

E[M₂]=p=1/4。兩次獨立,Var(M₂)=p(1−p)/2=(1/4)(3/4)/2=3/32。亦可用上題三個質量重算。

Q03

平均 5,偏差 −2、2,平方和 8。樣本大小 2,分母 1,故 s²=8。

Q04

不能。此時 n−1=0。以 n 作分母的描述變異數是 0,但它只描述單筆,不能說母體變異數也為 0。

Q05

平均的變異數為 16/16=1,標準誤取非負平方根為 1。

Q06

代入 s/√n 得 12/3=4。這用樣本波動估計抽樣波動,不代表母體 σ 已知。

Q07

只要每筆期望皆為 μ,期望的線性性給 (μ+μ+μ+μ+μ)/5=μ。獨立用在消除協方差,不用在這一步。

Q08

不會。平均仍是那一筆,分布與原觀測相同。複製出的 8 筆完全相依,不能套 σ²/8。

Q09

偏差平方和期望為 (n−1)σ²=4×25。再除以 5 得 20,比真正的 25 小。

Q10

當原波動非零,變異數乘 1/4、標準誤乘 1/2,因方差分母是 n,標準差分母是 √n。若 σ=0,兩者一開始就為零,不談比值。