梯度下降法

數學敘述

對可微f:R^d到R及明示alpha_k>0，unconstrained gradient descent更新x_{k+1}=x_k-alpha_k grad f(x_k)。本輪exact slice固定coordinate order，使用positive diagonal quadratic f(x)=1/2 sum d_i x_i^2+sum b_i x_i，逐步重算gradient、iterate與objective。若0<alpha<2/L且L=max d_i，有限trace可逐項核objective nonincrease；這仍不是一般函數或未驗證無限序列的收斂證書。positive step本身不保證下降，zero gradient可出現在maximum或saddle，且unconstrained step不得冒充projected或constrained descent。

代表公式（精確 TeX）

G(f,x,a)=y

成立條件

• positive diagonal與linear vectors arity相同，coordinate order固定；所有資料為bounded exact rationals。
• one-step只要求alpha>0；safe trace另核0<alpha<2/L。
• 只處理unconstrained deterministic gradient descent，不含projection、stochastic gradient或line search。

符號作用域

• G — 梯度下降更新
• f — 可微目標
• x — 目前向量
• a — 正步長
• y — 下一向量

直觀、定義與常見誤解

coordinate order、objective與step size全部明示。

safe diagonal quadratic trace逐步驗證，不以alpha>0代替下降條件。

stationary、local/global optimum及convergence是分離責任。

只因alpha>0就宣稱下降，或把zero gradient及有限trace當global optimum與收斂證明。

已採用的推導導讀

原始 MKO 保留；導讀有自己的追加式修訂與驗證界線，不代表新 Lean 證明。

前置知識

• 梯度向量 — 負梯度更新。
• 最佳化問題 — 目標與minimization語義。
• 數列 — iterate trace。
• 實向量空間 — Euclidean vector update與內積。

驗證界線

本輪不宣稱一般nonconvex／convex convergence rate，也不包含projection或stochastic updates。

not_formalized

這不表示內容錯誤；只表示尚未登錄可重播的計算或形式證據。

下一個義務

加入L-smooth convex descent lemma、strong convexity rate與projected gradient。

同源結構化資料

本頁與互動版共用同一個物件與既有語言 edition；未新增證明或人工審定。