第5章 Hessian與Taylor近似
5.1 二階項記錄曲率與交互作用
若 f 在 p 附近有連續的二階偏導，Hessian H 是二階偏導矩陣；混合偏導相等，所以 H 對稱。以欄位移 d=(h,k)ᵀ 表示，二階近似為 f(p)+∇f(p)·d+(1/2)dᵀH(p)d。矩陣乘開後，兩個混合項合成 fₓᵧ(p)hk，不能漏掉或把它再除以 2。
讓位移 d 夠小，使 p+td 在 0≤t≤1 時都留在二階偏導連續的鄰域。令 g(t)=f(p+td)，則 g′(0)=∇f(p)·d、g″(t)=dᵀH(p+td)d。對 g 在 0 做一階 Taylor 展開，帶二階 Lagrange 餘項，再加減 g″(0)/2，可知二階式之後的誤差為 (1/2)dᵀ(H(p+θd)−H(p))d，其中 0<θ<1。矩陣差在整段一致趨零，故誤差除以 ‖d‖² 趨零。若 g 還在該段有連續三階導數且 |g‴|≤M，二階 Taylor 式的三階餘項絕對值至多 M/6。
5.2 四個例題
例題1 二次函數的近似是等式
f=x²+xy+2y²，在 p=(1,1) 有 f=4、∇f=(3,5)，H=[2,1;1,4]。乘開二次項得 h²+hk+2k²，所以 f(1+h,1+k)=4+3h+5k+h²+hk+2k²。沿 h=k=t，二次修正為 4t²。
例題2 用合成變數估計餘項
f=e^(x+y) 在原點，二階式是 1+(x+y)+(x+y)²/2。取 (h,k)=(1/10,−1/20) 時 s=h+k=1/20，近似 1+1/20+1/800=841/800。由一維指數函數三階餘項，絕對誤差至多 e^(1/20)/48000。
例題3 區分二階項和二階方向率
f=x²+3xy+y²，H=[2,3;3,2]。沿速度 d=(1,−1) 有二階時間導數 dᵀHd=−2。沿單位方向 u=d/√2 則是 −1；Taylor 式裡還要再乘 1/2 與位移參數平方。
例題4 二階式為零也可能有變化
f=x³+y⁴ 在原點的一、二階導數皆零，二階 Taylor 式為 0。沿 x 軸 f(t,0)=t³，正負號隨 t 改變；二階資料不能判定原點為極值。
5.3 練習
- B09-C05-Q01 求 f=x²+4xy+3y² 的 Hessian。
- B09-C05-Q02 寫上題在原點的二階式。
- B09-C05-Q03 求 f=x²y³ 的混合二階偏導。
- B09-C05-Q04 f=x²+y² 在 (1,1)，d=(1/10,1/10)。二階修正多少？
- B09-C05-Q05 對 f=cos(x+y)，寫原點二階式。
- B09-C05-Q06 f=x³ 在 x=1（與 y 無關），寫到二階並給餘項。
- B09-C05-Q07 若 f 的二階 Taylor 式為 0，是否 f 必在鄰域恆等於 0？
- B09-C05-Q08 對 f=xy，d=(2,−1)，求 dᵀHd/2。
- B09-C05-Q09 在例題2，若取 s=−1/10，用二階式估計 eˢ。
- B09-C05-Q10 只知道 fₓᵧ 與 fᵧₓ 在一點存在，能直接依本章條件宣稱相等嗎？
5.4 完整解答
Q01
fₓ=2x+4y、fᵧ=4x+6y，再逐一求偏導得 H=[2,4;4,6]。
Q02
原點函數值與梯度為零，矩陣式 (1/2)dᵀHd 展開為 h²+4hk+3k²；這裡也是實際值。
Q03
先對 x 得 2xy³，再對 y 得 6xy²；反順序先得 3x²y²、再得 6xy²。多項式的二階偏導連續。
Q04
H=2I，二階修正就是 h²+k²=1/50。線性部分為 2h+2k=2/5。
Q05
一維 cos s 在 0 的值、一次、二次導數分別為 1、0、−1；代 s=x+y，得 1−(x+y)²/2。
Q06
(1+h)³=1+3h+3h²+h³。前面三項是二階式，留下 h³；用 Hessian 的 x 二階偏導 6 也得 (1/2)·6h²。
Q07
不必。f(x,y)=x³ 的原點函數值與一、二階導數為零，但每個小鄰域都有 x≠0 的點使 f≠0。
Q08
H 的對角為 0、兩個非對角皆為 1。矩陣式給 (1/2)(−2−2)=−2，恰等於 hk。
Q09
代入 1−1/10+1/200=181/200。介於 s 與 0 的指數值至多 1，所以誤差至多 |s|³/6=1/6000。
Q10
不能。本章使用的是該點鄰域二階偏導連續的充分條件。反例是在原點取 0，其餘點取 f(x,y)=xy(x²−y²)/(x²+y²)。從差商得 fₓ(0,y)=−y、fᵧ(x,0)=x，包含 y=0 或 x=0。因此在原點，先對 x 再對 y 得 −1，先對 y 再對 x 得 1。兩個混合偏導都存在，但不相等。