凸函式

Basis
最後更新: 標籤: 微積分, 凸性

先備知識

分析與概率中的許多不等式都歸結為同一個幾何觀察：對「碗形」函式，圖形上任意兩點之間的直線段永遠不會低於圖形本身。將這一觀察形式化，就得到了凸函式（convex function）的概念。

弦條件

設 I⊆RI \subseteq \mathbb{R} 為一個區間，f:I→Rf : I \to \mathbb{R}。

定義。 ff 在 II 上為凸函式，若對所有 x,y∈Ix, y \in I 及所有 λ∈[0,1]\lambda \in [0, 1]，

f ⁣(λx+(1−λ)y)  ≤  λf(x)+(1−λ)f(y).(1)f\!\left(\lambda x + (1-\lambda)y\right) \;\leq\; \lambda f(x) + (1-\lambda)f(y). \tag{1}

點 λx+(1−λ)y\lambda x + (1-\lambda)y 是 xx 與 yy 的凸組合（convex combination）：當 λ\lambda 在 [0,1][0,1] 上變化時，它描繪從 yy 到 xx 的線段。右側 λf(x)+(1−λ)f(y)\lambda f(x) + (1-\lambda)f(y) 是從 (x,f(x))(x, f(x)) 到 (y,f(y))(y, f(y)) 的**弦（chord）**上對應的點。

簡而言之：ff 的圖形位於每條弦的下方或弦上。

嚴格凸性

定義。 ff 在 II 上為嚴格凸函式，若在 x≠yx \neq y 且 λ∈(0,1)\lambda \in (0, 1) 時，(1)(1) 的不等式嚴格成立：

f ⁣(λx+(1−λ)y)  <  λf(x)+(1−λ)f(y).f\!\left(\lambda x + (1-\lambda)y\right) \;<\; \lambda f(x) + (1-\lambda)f(y).

嚴格凸性排除了圖形上任何與弦重合的平坦部分。每個嚴格凸函式都是凸函式，但反之不然（恆等函式 f(x)=xf(x) = x 是凸函式但非嚴格凸）。

凹性

若 −f-f 是（嚴格）凸函式，則 ff 是**（嚴格）凹函式（concave function）**，即 (1)(1) 中的不等號反向。凹函式是「帽形」的：每條弦位於圖形下方或圖形上。

例子

函式定義域凸函式？嚴格凸？
x2x^2R\mathbb{R}是是
exe^xR\mathbb{R}是是
∥x∥\|x\|R\mathbb{R}是否（在從 −a-a 到 aa 的弦上 x=0x = 0 處平坦）
ln⁡x\ln x(0,∞)(0, \infty)否（凹函式）—
−x2-x^2R\mathbb{R}否（凹函式）—
cc（常數）R\mathbb{R}是否

驗證 x2x^2。 對 λ∈[0,1]\lambda \in [0,1] 和 x,y∈Rx, y \in \mathbb{R}：

(λx+(1−λ)y)2  ≤  λx2+(1−λ)y2(\lambda x + (1-\lambda)y)^2 \;\leq\; \lambda x^2 + (1-\lambda)y^2

等價於 λ(1−λ)(x−y)2≥0\lambda(1-\lambda)(x-y)^2 \geq 0，對所有 λ∈[0,1]\lambda \in [0,1] 均成立，且在 x≠yx \neq y 且 λ∈(0,1)\lambda \in (0,1) 時嚴格成立。故 x2x^2 是嚴格凸函式。

等價的兩點形式

對 (1)(1) 兩側進行整理，凸性也可以表述為：對 II 中任意三點 x<z<yx < z < y，

f(z)−f(x)z−x  ≤  f(y)−f(x)y−x  ≤  f(y)−f(z)y−z.\frac{f(z) - f(x)}{z - x} \;\leq\; \frac{f(y) - f(x)}{y - x} \;\leq\; \frac{f(y) - f(z)}{y - z}.

每個分式都是割線斜率，因此這說明：從固定左端點出發，隨著右端點向右移動，割線斜率不遞減。這一單調斜率性質與 (1)(1) 完全等價，通常也是從圖形辨認凸性最快捷的方式。

摘要

  • ff 在 II 上為凸函式，若從 (x,f(x))(x, f(x)) 到 (y,f(y))(y, f(y)) 的每條弦均位於圖形上方或圖形上：對所有 x,y∈Ix, y \in I、λ∈[0,1]\lambda \in [0,1]，f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)f(\lambda x + (1-\lambda)y) \leq \lambda f(x) + (1-\lambda)f(y)。
  • 嚴格凸性要求在 x≠yx \neq y 且 λ∈(0,1)\lambda \in (0,1) 時不等式嚴格成立。
  • 凹性反轉不等號；ff 為凹函式若且唯若 −f-f 為凸函式。
  • 標準例子：x2x^2 和 exe^x 是嚴格凸函式；ln⁡x\ln x 是嚴格凹函式。