第十一冊 v0.2 · 網站閱讀版

第12章 IID與極限定理導讀

本章小節
  1. 12.1 平均變穩和波動形狀是兩個問題
  2. 12.2 四個例題
  3. 12.3 練習
  4. 12.4 完整解答

12.1 平均變穩和波動形狀是兩個問題

IID 是獨立且同分布:每次使用相同分布,而且任意有限組的聯合機率按獨立規則相乘。只有相同邊際不夠;把同一個隨機結果抄成很多份,不會產生獨立樣本。設 X₁,…,Xₙ 是 IID 變數,公共平均 μ、公共變異數 σ²。把樣本平均寫作 Mₙ=(X₁+⋯+Xₙ)/n;有些教材用 X 上加一橫表示同一個量。期望的線性性給 E[Mₙ]=μ;獨立使交叉協方差全為零,故 Var(Mₙ)=σ²/n。

若 σ² 有限,對 ε>0,事件 |Mₙ−μ|≥ε 上的偏差平方至少 ε²,故 σ²/n=E[(Mₙ−μ)²]≥ε²P(|Mₙ−μ|≥ε)。得到 Chebyshev 上界 P(|Mₙ−μ|≥ε)≤σ²/(nε²)。固定 ε,當 n 越來越大,這個機率趨向 0。這是有限變異數情形的弱大數律,說明樣本平均會集中到真均值附近,並不表示沿每條樣本路徑誤差每次都下降。

中央極限定理回答另一題。對 IID 且 0<σ²<∞,將 Mₙ−μ 除以 σ/√n,所得 Zₙ 的 CDF 在每個實數門檻趨近標準常態 CDF Φ;亦可對總和減 nμ、除以 σ√n。大數律讓平均本身集中,中央極限定理則把變小的波動放大到可比較尺度,再描述其形狀。這是極限結論,有限 n 的離散分布不會因此變成恰好常態;嚴格證明留到第十七冊。

公平指標的樣本平均,n=4 和 n=16 的分布中心都在 1/2,後者在中心附近更集中。
圖23|公平指標的樣本平均,n=4 和 n=16 的分布中心都在 1/2,後者在中心附近更集中。

12.2 四個例題

例題1 平均的變異數比單次小

公平幣的正面指標平均 1/2、變異數 1/4。16 次獨立試驗的總和變異數是 16·(1/4)=4,平均要再除以 16²,得 1/64。平均的標準差是 1/8,而不是單次標準差 1/2。

例題2 用上界估計偏離機率

n=400 個公平獨立指標。距離 1/2 至少 1/10 的機率至多 (1/4)/(400·(1/10)²)=1/16。這只給上界,真正機率可能更小;增加 n 降低這個上界。

例題3 以樣本平均的標準差作分母

IID 變數的 μ=6、σ=2,樣本量 25。M₂₅ 的標準差為 2/√25=2/5;觀測平均 6.8 時,標準化是 (6.8−6)/(2/5)=2。這只是原門檻換成標準尺度,不保證 n=25 的尾端機率恰好等於常態近似值。

同一偏差以標準誤來量;均值 6、標準差 2、n=25,平均 6.8 在標準尺度上是 2。
圖24|同一偏差以標準誤來量;均值 6、標準差 2、n=25,平均 6.8 在標準尺度上是 2。

例題4 複製不是獨立抽樣

只擲一次公平幣得 Z,再置 Xᵢ=Z。每個 Xᵢ 的邊際一樣,但只要知道一份就知道全部,故不獨立。平均恆等於 Z,變異數始終 1/4,不會按 n 除小。這指出前面公式中獨立性的作用。

12.3 練習

  1. B11-C12-Q01 IID 每次均值 3、變異數 4,取 25 次,求平均的期望與變異數。
  2. B11-C12-Q02 沿用上一題,平均的標準差?
  3. B11-C12-Q03 在 σ²=1、ε=1/2 時,上界要不大於 1/10,n 至少多少?
  4. B11-C12-Q04 兩個變數分布相同但總是相等,而且都可能為 0 或 1 各半,它們是 IID 嗎?
  5. B11-C12-Q05 μ=2、σ=3、n=9,觀測平均 4 時,標準化值多少?
  6. B11-C12-Q06 IID 時,總和的標準化分母是 σn 還是 σ√n?
  7. B11-C12-Q07 大數律是否保證第 n+1 次平均更接近 μ?
  8. B11-C12-Q08 若 σ=0,可以用中央極限定理的標準化式嗎?
  9. B11-C12-Q09 公平獨立試驗做 100 次,成功率估計離 1/2 至少 1/10 的 Chebyshev 上界?
  10. B11-C12-Q10 把樣本量從 n 加到 4n,平均的標準差變成幾倍?

12.4 完整解答

Q01

期望仍為 μ=3。總和的變異數為 25·4,再除 25²,得平均變異數 4/25。

Q02

開非負平方根 √(4/25)=2/5。它是平均本身的標準差,不是單次的 2。

Q03

Chebyshev 上界是 1/(n/4)=4/n。要求 4/n≤1/10,得到 n≥40;40 時上界正好 1/10。

Q04

不是。兩者分布相同,但知道第一個值便知道第二個值。雙 1 機率 1/2,和獨立時的 1/4 不等。

Q05

先算平均的標準差 3/√9=1,再取 (4−2)/1=2。

Q06

總和變異數是 nσ²,取平方根得 σ√n。σn 是把每次標準差直接相加,未反映變異數相加。

Q07

不保證某次的誤差必減。例:公平指標前兩次是 0、1,平均正好 1/2;第三次若是 1,平均反變成 2/3。極限機率與逐步單調是兩回事。

Q08

不行,公式除以 σ。若每次幾乎必然等於 μ,平均也不會波動,不需要用有正標準差的常態模型。

Q09

單次變異數 1/4,代入得 (1/4)/(100·1/100)=1/4。這不是在聲稱精確機率為 1/4。

Q10

原為 σ/√n,新為 σ/√(4n)=σ/(2√n),故在 σ>0 時變成一半;對應變異數變成四分之一。