展開cross term的bias-variance推導

目標與範圍

在同一law逐符號證明分解，並核兩個theta。

有限scalar law；各theta分開不pool。

已知條件與符號

• work

• G1 — Θ={1/4,3/4}，Ω={00,01,10,11}；P_(1/4)=(9,3,3,1)/16，P_(3/4)=(1,3,3,9)/16。
• G2 — U(x)=(x1+x2)/4，依Ω順序的total table為(0,1/4,1/4,1/2)，目標參數為g(theta)=theta。

• θ — 固定但未知參數
• U — 同一total statistic
• m,b — 同law mean與bias

規則與來源

• mko_definition · cited — 每個theta須給完整finite sampling law，主端分別直接計算mean、bias=E_theta[T]-theta、variance=E_theta[(T-E_theta[T])^2]與MSE=E_theta[(T-theta)^2]。展開T-theta=(T-E[T])+bias後，cross term以E[T-E[T]]=0消失，得到MSE=variance+bias^2。多theta逐law核對。unbiased只推出MSE=variance，不推出zero MSE或consistency；單一observed squared error不是MSE。 · mko-bias-variance-decomposition
• work · prerequisite — 期望線性、歸一law下常數期望及平方展開；固定theta時m=EthetaU，bias=m-theta，variance=Etheta[(U-m)²]，MSE=Etheta[(U-theta)²]。本節不把分解本身當前提。

逐步主鏈

\theta\in\Theta\text{ fixed},\quad m=E_\theta U

b=m-\theta,\quad U-\theta=(U-m)+b

U-\theta=(U-m)+b

(U-\theta)^2=(U-m)^2+2b(U-m)+b^2

E_\theta[U-m]=E_\theta U-m

E_\theta[U-m]=0

E_\theta[2b(U-m)]

2bE_\theta[U-m]=0

E_\theta[(U-\theta)^2]

E_\theta[(U-m)^2]+0+b^2

\operatorname{MSE}_\theta(U)=E_\theta[(U-m)^2]+b^2

\operatorname{MSE}_\theta(U)=\operatorname{Var}_\theta(U)+b(\theta)^2

\theta=1/4,\quad U\in\{0,1/4,1/2\},\quad P_{1/4}^U=(9,6,1)/16

m=0(9/16)+(1/4)(6/16)+(1/2)(1/16)=1/8,\quad b=1/8-1/4=-1/8

v=\sum_uP_{1/4}^U(u)(u-1/8)^2,\quad M=\sum_uP_{1/4}^U(u)(u-1/4)^2

v=\frac{9(1/8)^2+6(1/8)^2+(3/8)^2}{16}=3/128;\quad M=\frac{9(1/4)^2+6(0)^2+(1/4)^2}{16}=5/128

\theta=1/4:\quad M=5/128,\ b=-1/8,\ v=3/128

5/128=3/128+(-1/8)^2

\theta=3/4,\quad P_{3/4}^U=(1,6,9)/16

m=0(1/16)+(1/4)(6/16)+(1/2)(9/16)=3/8,\quad b=3/8-3/4=-3/8

v=\sum_uP_{3/4}^U(u)(u-3/8)^2,\quad M=\sum_uP_{3/4}^U(u)(u-3/4)^2

v=\frac{(3/8)^2+6(1/8)^2+9(1/8)^2}{16}=3/128;\quad M=\frac{(3/4)^2+6(1/2)^2+9(1/4)^2}{16}=21/128

\theta=3/4:\quad M=21/128,\ b=-3/8,\ v=3/128

21/128=3/128+(-3/8)^2

局部子步與引理

本稿無局部子步。

逐步反向審查

• S12 · premise_audit · G1, G2, S11, work — unbiased僅使bias平方零，不使variance零。
• S11 · premise_audit · G1, G2, S10, work — MSE直接sum三項為9/256、24/256、9/256。
• S10 · premise_audit · G1, G2, S09, work — 此law的末support質量為9/16。
• S09 · premise_audit · G1, G2, S08, work — bias先平方，所以不會把負偏誤減掉。
• S08 · premise_audit · G1, G2, S07, work — variance中心為1/8，MSE目標為1/4，兩者不同。
• S07 · premise_audit · G1, G2, S06, work — 三個support值與三個質量按同順序配對。
• S06 · premise_audit · G1, G2, S05, work — theta原先任意，故對模型每個theta分別成立。
• S05 · premise_audit · G1, G2, S04, work — law歸一使Etheta[b²]=b²。
• S04 · premise_audit · G1, G2, S03, work — 這裡不需independence。
• S03 · premise_audit · G1, G2, S02, work — 不能因U-m有正負值就直接說mean零，必須用m定義。
• S02 · premise_audit · G1, G2, S01, work — 係數2不可省，b不是隨機資料值。
• S01 · premise_audit · G1, G2, work — m、b均屬同一Ptheta，不得混law。

錯誤控制與反例

顯式cross term

先保留2b(U-m)，再由中心期望零消去。

直接MSE核對

兩個直接loss和分別與3/128加bias平方比對。

• cross term靠獨立才為零。 → reject — b是常數且Etheta[U-m]=0即可。
• 無偏使MSE=0。 → reject — 只得到MSE=variance；例如Bernoulli觀察無偏但variance正。
• MSE=variance+bias。 → reject — 平方展開給bias平方；第一law若不平方會成負值。

結論與限制

MSEtheta=Vartheta+bias(theta)²；兩theta直接數值分別為5/128與21/128。

驗證及來源綁定

6 個本稿宣告算術檢查；只支持所列算式。

• source commit: b1b2f1dcf8c50d67a93fe52d95f8eef7b3abba9f
• adopted source SHA-256: 684c90c6e4cc67e67bac21d84d6391f4ac7df58ae8a555e711b2c67724a97dc5
• original source SHA-256: 8b7541177d92f5388c355193b85c8de3a5067e1f823493728c074e77a687ec37
• Lean: NOT_RUN · independent AI: SCOPED_LEAD_AND_BILINGUAL_CONTEXT_REVIEW

同源完整 JSON（含公式、AST、反控制與修訂記錄）