# 展開cross term的bias-variance推導 [← 導讀目錄](https://ocme.evemisslab.com/zh-Hant/derivations/) · [原始 MKO](https://ocme.evemisslab.com/zh-Hant/mko/mko-bias-variance-decomposition/) 這是使用者已採用的自然語言教學導讀。有限／算術檢查不等於普遍證明；本輪未跑 Lean，各稿審查範圍見其修訂記錄。來源原有的狀態標籤保留為歷史資料。公式保留精確 TeX，不另造語意 AST。 derivation-mko-bias-variance-decomposition-01 · ocme-new142-reader-adoption-20261021 ## 目標與範圍 在同一law逐符號證明分解，並核兩個theta。 有限scalar law；各theta分開不pool。 ## 已知條件與符號 - work - G1 — Θ={1/4,3/4}，Ω={00,01,10,11}；P_(1/4)=(9,3,3,1)/16，P_(3/4)=(1,3,3,9)/16。 - G2 — U(x)=(x1+x2)/4，依Ω順序的total table為(0,1/4,1/4,1/2)，目標參數為g(theta)=theta。 - θ — 固定但未知參數 - U — 同一total statistic - m,b — 同law mean與bias ## 規則與來源 - mko_definition · cited — 每個theta須給完整finite sampling law，主端分別直接計算mean、bias=E_theta[T]-theta、variance=E_theta[(T-E_theta[T])^2]與MSE=E_theta[(T-theta)^2]。展開T-theta=(T-E[T])+bias後，cross term以E[T-E[T]]=0消失，得到MSE=variance+bias^2。多theta逐law核對。unbiased只推出MSE=variance，不推出zero MSE或consistency；單一observed squared error不是MSE。 · mko-bias-variance-decomposition - work · prerequisite — 期望線性、歸一law下常數期望及平方展開；固定theta時m=EthetaU，bias=m-theta，variance=Etheta[(U-m)²]，MSE=Etheta[(U-theta)²]。本節不把分解本身當前提。 ## 逐步主鏈 S01 · implies操作前 \theta\in\Theta\text{ fixed},\quad m=E_\theta U 操作後 b=m-\theta,\quad U-\theta=(U-m)+b 條件：無 規則：work · 依賴：G1, G2, work 葉節點依據：work 先固定一theta，把誤差拆成中心誤差與常數bias。 S02 · implies操作前 U-\theta=(U-m)+b 操作後 (U-\theta)^2=(U-m)^2+2b(U-m)+b^2 條件：無 規則：work · 依賴：G1, G2, S01, work 葉節點依據：work 完整平方展開保留cross term。 S03 · implies操作前 E_\theta[U-m]=E_\theta U-m 操作後 E_\theta[U-m]=0 條件：無 規則：work · 依賴：G1, G2, S02, work 葉節點依據：work 期望線性與m的定義給中心化identity。 S04 · implies操作前 E_\theta[2b(U-m)] 操作後 2bE_\theta[U-m]=0 條件：無 規則：work · 依賴：G1, G2, S03, work 葉節點依據：work 固定theta下b是常數，可提出期望，再用中心identity。 S05 · implies操作前 E_\theta[(U-\theta)^2] 操作後 E_\theta[(U-m)^2]+0+b^2 條件：無 規則：work · 依賴：G1, G2, S04, work 葉節點依據：work 對完整平方式取同law期望，常數平方期望仍自身。 S06 · implies操作前 \operatorname{MSE}_\theta(U)=E_\theta[(U-m)^2]+b^2 操作後 \operatorname{MSE}_\theta(U)=\operatorname{Var}_\theta(U)+b(\theta)^2 條件：無 規則：work · 依賴：G1, G2, S05, work 葉節點依據：work 辨認variance與bias定義，完成全體有限law的論證。 S07 · implies操作前 \theta=1/4,\quad U\in\{0,1/4,1/2\},\quad P_{1/4}^U=(9,6,1)/16 操作後 m=0(9/16)+(1/4)(6/16)+(1/2)(1/16)=1/8,\quad b=1/8-1/4=-1/8 條件：無 規則：work · 依賴：G1, G2, S06, work 葉節點依據：work 在此指南重新列完整歸一抽樣law，直接算mean與有號bias。 S08 · implies操作前 v=\sum_uP_{1/4}^U(u)(u-1/8)^2,\quad M=\sum_uP_{1/4}^U(u)(u-1/4)^2 操作後 v=\frac{9(1/8)^2+6(1/8)^2+(3/8)^2}{16}=3/128;\quad M=\frac{9(1/4)^2+6(0)^2+(1/4)^2}{16}=5/128 條件：無 規則：work · 依賴：G1, G2, S07, work 葉節點依據：work 中心variance與target loss各自直接加權，完全不借已證分解取值。 S09 · implies操作前 \theta=1/4:\quad M=5/128,\ b=-1/8,\ v=3/128 操作後 5/128=3/128+(-1/8)^2 條件：無 規則：work · 依賴：G1, G2, S08, work 葉節點依據：work 將兩條直接sum的結果與一般分解交叉核對。 S10 · implies操作前 \theta=3/4,\quad P_{3/4}^U=(1,6,9)/16 操作後 m=0(1/16)+(1/4)(6/16)+(1/2)(9/16)=3/8,\quad b=3/8-3/4=-3/8 條件：無 規則：work · 依賴：G1, G2, S09, work 葉節點依據：work 第二個完整law也獨立算mean與bias，不沿用第一law的權重。 S11 · implies操作前 v=\sum_uP_{3/4}^U(u)(u-3/8)^2,\quad M=\sum_uP_{3/4}^U(u)(u-3/4)^2 操作後 v=\frac{(3/8)^2+6(1/8)^2+9(1/8)^2}{16}=3/128;\quad M=\frac{(3/4)^2+6(1/2)^2+9(1/4)^2}{16}=21/128 條件：無 規則：work · 依賴：G1, G2, S10, work 葉節點依據：work 第二law的中心平方和與target loss和分開求值。 S12 · implies操作前 \theta=3/4:\quad M=21/128,\ b=-3/8,\ v=3/128 操作後 21/128=3/128+(-3/8)^2 條件：無 規則：work · 依賴：G1, G2, S11, work 葉節點依據：work 第二law的直接值核分解，兩theta不混合。 ## 局部子步與引理 本稿無局部子步。 ## 逐步反向審查 - S12 · premise_audit · G1, G2, S11, work — unbiased僅使bias平方零，不使variance零。 - S11 · premise_audit · G1, G2, S10, work — MSE直接sum三項為9/256、24/256、9/256。 - S10 · premise_audit · G1, G2, S09, work — 此law的末support質量為9/16。 - S09 · premise_audit · G1, G2, S08, work — bias先平方，所以不會把負偏誤減掉。 - S08 · premise_audit · G1, G2, S07, work — variance中心為1/8，MSE目標為1/4，兩者不同。 - S07 · premise_audit · G1, G2, S06, work — 三個support值與三個質量按同順序配對。 - S06 · premise_audit · G1, G2, S05, work — theta原先任意，故對模型每個theta分別成立。 - S05 · premise_audit · G1, G2, S04, work — law歸一使Etheta[b²]=b²。 - S04 · premise_audit · G1, G2, S03, work — 這裡不需independence。 - S03 · premise_audit · G1, G2, S02, work — 不能因U-m有正負值就直接說mean零，必須用m定義。 - S02 · premise_audit · G1, G2, S01, work — 係數2不可省，b不是隨機資料值。 - S01 · premise_audit · G1, G2, work — m、b均屬同一Ptheta，不得混law。 ## 錯誤控制與反例 顯式cross term先保留2b(U-m)，再由中心期望零消去。 直接MSE核對兩個直接loss和分別與3/128加bias平方比對。 - cross term靠獨立才為零。 → reject — b是常數且Etheta[U-m]=0即可。 - 無偏使MSE=0。 → reject — 只得到MSE=variance；例如Bernoulli觀察無偏但variance正。 - MSE=variance+bias。 → reject — 平方展開給bias平方；第一law若不平方會成負值。 ## 結論與限制 MSEtheta=Vartheta+bias(theta)²；兩theta直接數值分別為5/128與21/128。 ## 驗證及來源綁定 6 個本稿宣告算術檢查；只支持所列算式。 - source commit: b1b2f1dcf8c50d67a93fe52d95f8eef7b3abba9f - adopted source SHA-256: 684c90c6e4cc67e67bac21d84d6391f4ac7df58ae8a555e711b2c67724a97dc5 - original source SHA-256: 8b7541177d92f5388c355193b85c8de3a5067e1f823493728c074e77a687ec37 - Lean: NOT_RUN · independent AI: SCOPED_LEAD_AND_BILINGUAL_CONTEXT_REVIEW [同源完整 JSON（含公式、AST、反控制與修訂記錄）](https://ocme.evemisslab.com/data/derivations/coverage-20261021/guides/derivation-mko-bias-variance-decomposition-01.json)