第十二冊 v0.2 · 網站閱讀版

第9章 迴歸與模型檢查

本章小節
  1. 9.1 用垂直殘差的平方和選擇直線
  2. 9.2 四個例題
  3. 9.3 練習
  4. 9.4 完整解答

9.1 用垂直殘差的平方和選擇直線

觀測為 (xᵢ,yᵢ)。用直線預測 y 為 a+bx,定義殘差 eᵢ=yᵢ−(a+bxᵢ)。最小平方選 a、b 讓殘差平方和 SSE=Σeᵢ² 最小。給定 b,讓截距取平均 y 減 b 倍平均 x:這時殘差和為零;把截距再平移 c 只會增加 nc²。因此先將兩欄中心化,就剩下選 b 的一維問題。

以 m₁、m₂ 分別表示 x 欄和 y 欄的平均,令 Sxx=Σ(xᵢ−m₁)²、Sxy=Σ(xᵢ−m₁)(yᵢ−m₂)、Syy=Σ(yᵢ−m₂)²。代入截距後 SSE=Syy−2bSxy+b²Sxx。當 Sxx>0,把這個二次式配方,平方項為 Sxx(b−Sxy/Sxx)²,故唯一最小斜率為 Sxy/Sxx。若所有 x 相同,Sxx=0,資料只決定該 x 高度,不能分辨截距與斜率。

有截距時,若 Syy>0,可用 R²=1−SSE/Syy 比較直線對樣本變動的描述。它不檢查殘差曲線、資料是否獨立或因果方向。應回畫殘差對 x 圖,看是否有弧形、異常點或波動隨 x 改變;模型外推和泛化另看新資料。計算最小平方本身不要求常態誤差;要據此做不確定度推論,就要補模型假設。

點 (0,1)、(1,2)、(2,5) 擬合直線 y=2x+2/3,三條垂直殘差為 1/3、−2/3、1/3。
圖17|點 (0,1)、(1,2)、(2,5) 擬合直線 y=2x+2/3,三條垂直殘差為 1/3、−2/3、1/3。

9.2 四個例題

例題1 中心化後求斜率與截距

三點 (0,1)、(1,2)、(2,5),平均 x=1、平均 y=8/3。Sxx=2、Sxy=(−1)(−5/3)+(1)(7/3)=4,故 b=2、a=8/3−2=2/3。殘差依序 1/3、−2/3、1/3,平方和 (1+4+1)/9=2/3。

例題2 所有 x 相同時斜率不可辨

三筆 x 都為 2,y 分別是 1、3、5。所有直線只透過 a+2b 在資料上作用,最佳值是 3。所有滿足 a+2b=3 的係數組合都給相同 SSE=(1−3)²+(5−3)²=8,不能挑一條宣稱獨特。

例題3 零斜率也會漏掉明顯關係

取 x=−2、−1、0、1、2,y=x²。平均 y=2,中心化乘積依正負相抵,Sxy=0,預測直線恆為 2。殘差依 x 為 2、−1、−2、−1、2,呈 U 形,顯示不是純粹沒有關係,而是直線未捕捉曲線。

五點 y=x² 在 x=−2、−1、0、1、2 的直線殘差為 2、−1、−2、−1、2,呈 U 形。
圖18|五點 y=x² 在 x=−2、−1、0、1、2 的直線殘差為 2、−1、−2、−1、2,呈 U 形。

例題4 高 R² 仍要看適用範圍

例題 1 的 Syy=(25+4+49)/9=26/3,R²=1−(2/3)/(26/3)=12/13。這僅說直線相對只報平均,能降低這三筆的平方誤差;不因分數高就能外推或判定改變 x 導致 y 改變。

9.3 練習

  1. B12-C09-Q01 資料 (0,3)、(1,5)、(2,7) 的最小平方直線?
  2. B12-C09-Q02 用上一題直線預測 x=3 的 y,可不可以保證準?
  3. B12-C09-Q03 資料 (0,1)、(1,4)、(2,4),求斜率、截距及 SSE。
  4. B12-C09-Q04 為什麼有截距的最小平方線的殘差和為零?
  5. B12-C09-Q05 兩筆 x 都為 1,y 為 0、2。預測值在這個 x 應為多少?斜率唯一嗎?
  6. B12-C09-Q06 所有 y 都相同,還能用 R²=1−SSE/Syy 報數字嗎?
  7. B12-C09-Q07 例題 3 改用另一對對稱點 x=−3、3 及 x=0,y=x²。斜率與截距?
  8. B12-C09-Q08 若 x 是件數、y 是分鐘,斜率 b=2 的單位?
  9. B12-C09-Q09 在某線性擬合,x 用公尺時斜率 5。改用公分但 y 單位不變,新斜率?
  10. B12-C09-Q10 練習時間與成績的斜率為正,能說延長練習一定提高成績嗎?

9.4 完整解答

Q01

平均 x=1、平均 y=5,Sxx=2、Sxy=4,得到 b=2、a=3。三筆都在線上,所以 SSE=0。

Q02

代入得到 3+2×3=9。但 x=3 超出觀測範圍 [0,2],9 是模型外推,不是觀測事實。

Q03

中心 (1,3),Sxx=2、Sxy=3,b=3/2、a=3/2。三個預測 1.5、3、4.5,殘差 −0.5、1、−0.5,SSE=1/4+1+1/4=3/2。

Q04

對任意最優斜率 b,截距取平均 y−b×平均 x。把 Σ[yᵢ−a−bxᵢ] 展開為 n(平均 y−a−b×平均 x),恰為零。

Q05

最佳共同預測是平均 y=1,所以 a+b=1。無論 b 取何值,只要截距配合,兩筆的預測不變。斜率不唯一。

Q06

這裡 Syy=0,公式未定義。截距可以完美擬合常數,但「解釋相對變動的比例」沒有非零分母;不要由軟體慣例推成定理。

Q07

平均 x=0,Sxy 由對稱相消,b=0;平均 y=(9+0+9)/3=6,所以 a=6。零斜率仍不等於 y 與 x 無關。

Q08

單位是分鐘/件:在這條直線上,x 增一件,預測 y 增二分鐘。不是說每次都實際多兩分鐘。

Q09

同一距離的新數值 x′=100x。代入 x=x′/100,原斜率 5 變為 5/100=0.05,預測不改變。

Q10

不能由這張觀察圖推出因果或必然。基礎程度、課程安排等可能同時影響兩欄;還要檢查收集設計與替代解釋。