第8章 聯合分布與協方差
8.1 先看一整張表,再談獨立和線性變化
聯合分布列每對 (x,y) 的質量 P(X=x,Y=y)。加總一列可得 X 的邊際,逐欄加總可得 Y 的邊際;所有格的總和是 1。兩變數獨立要求每一格都等於對應兩個邊際的乘積。只要一格不符合,就能排除獨立;只對一格符合,證據不夠。
有限情形的協方差 Cov(X,Y)=E[(X−E[X])(Y−E[Y])]=E[XY]−E[X]E[Y]。算 E[XY] 時,用同一格的 x、y 相乘才加權。若 X、Y 獨立,聯合質量可分成邊際的乘積,E[XY] 可拆為 E[X]E[Y],因此協方差為零;逆向一般不成立。若兩者標準差皆非零,可將協方差除以 SD(X)SD(Y) 得 Pearson 相關係數。它描述線性關係,不表示因果;有一個量為常數時,這個相關係數未定義。
把 (X−E[X]+Y−E[Y])² 展開,兩個平方項加一個兩倍的交叉項,所以 Var(X+Y)=Var(X)+Var(Y)+2 Cov(X,Y)。只有已知交叉項為零才能直接相加;獨立是足以保證此事的條件。
8.2 四個例題
例題1 列和、欄和與一格反例
取四格 (0,0)、(0,1)、(1,0)、(1,1) 依次質量 3/10、1/10、2/10、4/10。X=0、1 的質量為 2/5、3/5;Y=0、1 各為 1/2。右下格是 2/5,不等於 (3/5)(1/2)=3/10,故不獨立。
例題2 由同一表算協方差
前例中 E[X]=3/5、E[Y]=1/2。XY 只在右下格為 1,E[XY]=2/5,Cov=2/5−3/10=1/10。若把 X+Y 的分布拿來回算,變異數是 69/100,等於 6/25+1/4+2·1/10。
例題3 協方差為零仍可完全連動
X 等可能為 −1、0、1,Y=X²。E[X]=0,XY=X³,對稱使 E[XY]=0,故 Cov=0。但 P(Y=0|X=0)=1,而 P(Y=0)=1/3,兩者不獨立。
例題4 獨立時才可由邊際重建整張表
獨立的兩個指標,P(X=1)=1/3、P(Y=1)=1/2。四格依次為 (2/3)(1/2)=1/3、1/3、1/6、1/6。總和為 1,且每格由邊際乘積給出。
8.3 練習
- B11-C08-Q01 沿用例題 1,求 P(Y=0)、P(X=0)。
- B11-C08-Q02 沿用例題 1,求 P(Y=1|X=1)。
- B11-C08-Q03 獨立指標 P(X=1)=1/4、P(Y=1)=2/3,求 P(X=0,Y=1)。
- B11-C08-Q04 E[XY]=4、E[X]=1、E[Y]=3,求協方差。
- B11-C08-Q05 Var(X)=2、Var(Y)=3、Cov(X,Y)=−1,求 Var(X+Y)。
- B11-C08-Q06 若例題 3 改成 Y=−X,求協方差。
- B11-C08-Q07 只知道兩個邊際皆是公平指標,是否能判獨立?
- B11-C08-Q08 若 Y 是常數,Cov(X,Y) 和 Pearson 相關係數各如何?
- B11-C08-Q09 用例題 1 的表求 Var(X−Y)。
- B11-C08-Q10 表中某格比邊際乘積大,能判斷兩變數不獨立嗎?
8.4 完整解答
Q01
對 Y=0 加左欄 3/10+2/10=1/2;對 X=0 加上列 3/10+1/10=2/5。
Q02
右下格質量 4/10,X=1 的整列質量 6/10>0。條件比值 (4/10)/(6/10)=2/3。
Q03
X=0 的機率 3/4。獨立性允許乘 (3/4)(2/3)=1/2。
Q04
代入 Cov=4−1·3=1。這只描述線性共同變動,不足以判斷因果。
Q05
兩平方項給 5;交叉項是 2·(−1)=−2。合起來為 3,不是 5。
Q06
兩者平均皆零,XY=−X²。E[X²]=(1+0+1)/3=2/3,故 Cov=−2/3。
Q07
不能。可以令兩者永遠相同,聯合右下格為 1/2;也可以獨立抽兩次,右下格為 1/4。兩張表邊際相同。
Q08
Y−E[Y]=0,所以 Cov=0。但 SD(Y)=0,Pearson 相關的分母為零,因此未定義。
Q09
Var(X)=6/25、Var(Y)=1/4;展開相減的偏差平方,交叉項是 −2 Cov,故 6/25+1/4−2·1/10=29/100。
Q10
可以。獨立要求所有格都等於乘積,任一格不合便否定整個條件。不能僅以某一格合格反推獨立。