延森不等式（Jensen's Inequality）

Basis
最後更新: 標籤: 微積分, 凸性, 不等式

先備知識

凸性的定義說明：兩個輸入點的加權平均，映射後的值不超過輸出值的加權平均。延森不等式（Jensen’s inequality）將此從兩個點推廣到任意有限個點——所用的論證也是最簡單的：數學歸納法。

定理

定理（延森不等式）。 設 I⊆RI \subseteq \mathbb{R} 為區間，f:I→Rf : I \to \mathbb{R} 為凸函式，n≥1n \geq 1。設 x1,…,xn∈Ix_1, \ldots, x_n \in I，λ1,…,λn≥0\lambda_1, \ldots, \lambda_n \geq 0 且 ∑i=1nλi=1\sum_{i=1}^n \lambda_i = 1。則

f ⁣(∑i=1nλixi)  ≤  ∑i=1nλif(xi).(1)f\!\left(\sum_{i=1}^{n} \lambda_i x_i\right) \;\leq\; \sum_{i=1}^{n} \lambda_i f(x_i). \tag{1}

左端是對 xix_i 的加權平均值套用 ff；右端是函式值的加權平均。

歸納法證明

基礎情形 n=1n = 1。 兩端均等於 f(x1)f(x_1)。✓\checkmark

基礎情形 n=2n = 2。 這正是凸性的定義： f(λ1x1+λ2x2)≤λ1f(x1)+λ2f(x2)f(\lambda_1 x_1 + \lambda_2 x_2) \leq \lambda_1 f(x_1) + \lambda_2 f(x_2)，其中 λ1+λ2=1\lambda_1 + \lambda_2 = 1。✓\checkmark

歸納步驟。 假設 (1)(1) 對某個 n≥2n \geq 2 成立；我們對 n+1n + 1 加以證明。

設 x1,…,xn+1∈Ix_1, \ldots, x_{n+1} \in I，λ1,…,λn+1≥0\lambda_1, \ldots, \lambda_{n+1} \geq 0，∑i=1n+1λi=1\sum_{i=1}^{n+1} \lambda_i = 1。

若 λn+1=1\lambda_{n+1} = 1，則其餘權重均為零，兩端均等於 f(xn+1)f(x_{n+1})。故不妨假設 λn+1<1\lambda_{n+1} < 1，即 μ≔1−λn+1>0\mu \coloneqq 1 - \lambda_{n+1} > 0。

定義 μi≔λi/μ\mu_i \coloneqq \lambda_i / \mu（i=1,…,ni = 1, \ldots, n）。則 μi≥0\mu_i \geq 0 且 ∑i=1nμi=1\sum_{i=1}^n \mu_i = 1，從而 z≔∑i=1nμixi∈Iz \coloneqq \sum_{i=1}^n \mu_i x_i \in I（區間對凸組合封閉）。改寫左端：

∑i=1n+1λixi  =  μz+λn+1xn+1,μ+λn+1=1.\sum_{i=1}^{n+1} \lambda_i x_i \;=\; \mu z + \lambda_{n+1} x_{n+1}, \qquad \mu + \lambda_{n+1} = 1.

對 zz 與 xn+1x_{n+1}，以 μ\mu 和 λn+1\lambda_{n+1} 為權重，套用兩點凸性不等式（基礎情形 n=2n = 2）：

f ⁣(∑i=1n+1λixi)=f(μz+λn+1xn+1)≤μf(z)+λn+1f(xn+1).f\!\left(\sum_{i=1}^{n+1} \lambda_i x_i\right) = f(\mu z + \lambda_{n+1} x_{n+1}) \leq \mu f(z) + \lambda_{n+1} f(x_{n+1}).

對 z=∑i=1nμixiz = \sum_{i=1}^n \mu_i x_i，以權重 μi\mu_i 套用歸納假設：

f(z)  ≤  ∑i=1nμif(xi).f(z) \;\leq\; \sum_{i=1}^n \mu_i f(x_i).

合併，並代入 μi=λi/μ\mu_i = \lambda_i / \mu：

f ⁣(∑i=1n+1λixi)  ≤  μ∑i=1nλiμf(xi)+λn+1f(xn+1)  =  ∑i=1n+1λif(xi).□f\!\left(\sum_{i=1}^{n+1} \lambda_i x_i\right) \;\leq\; \mu \sum_{i=1}^n \frac{\lambda_i}{\mu} f(x_i) + \lambda_{n+1} f(x_{n+1}) \;=\; \sum_{i=1}^{n+1} \lambda_i f(x_i). \quad \square

等號成立的條件

命題。 若 ff 是嚴格凸函式，且所有 λi>0\lambda_i > 0，則 (1)(1) 中等號成立，若且唯若 x1=x2=⋯=xnx_1 = x_2 = \cdots = x_n。

證明概要。 在歸納步驟中，除非 z=xn+1z = x_{n+1}，否則兩點不等式嚴格成立；除非 x1,…,xnx_1, \ldots, x_n 全相等，否則歸納假設嚴格成立。追蹤歸納過程可知，任何一個嚴格步驟都會使結論的不等式嚴格成立。□\square

應用

算術幾何平均不等式。 取 f(t)=−ln⁡tf(t) = -\ln t（在 (0,∞)(0, \infty) 上嚴格凸），均勻權重 λi=1/n\lambda_i = 1/n：

−ln⁡ ⁣(x1+⋯+xnn)  ≤  −ln⁡x1−⋯−ln⁡xnn  =  −ln⁡ ⁣(x1⋯xn)1/n.-\ln\!\left(\frac{x_1 + \cdots + x_n}{n}\right) \;\leq\; \frac{-\ln x_1 - \cdots - \ln x_n}{n} \;=\; -\ln\!\left(x_1 \cdots x_n\right)^{1/n}.

取負並指數化，即得 AM–GM 不等式：

x1+⋯+xnn  ≥  (x1⋯xn)1/n.\frac{x_1 + \cdots + x_n}{n} \;\geq\; (x_1 \cdots x_n)^{1/n}.

對數和不等式。 取 f(t)=tln⁡tf(t) = t \ln t（在 (0,∞)(0,\infty) 上凸）；延森不等式是資訊理論中 KL 散度非負性的基礎。

摘要

  • 延森不等式：對凸函式 ff 與和為 11 的非負權重 λi\lambda_i， f ⁣(∑λixi)≤∑λif(xi).f\!\left(\sum \lambda_i x_i\right) \leq \sum \lambda_i f(x_i).
  • 證明：對 nn 進行歸納；n=2n = 2 的基礎情形就是凸性的定義；歸納步驟剝離最後一個點並套用兩點不等式。
  • 等號：當 ff 嚴格凸且所有權重為正時，等號成立若且唯若所有 xix_i 相等。
  • AM–GM 不等式是直接推論：對均勻權重套用延森不等式，取 f=−ln⁡f = -\ln。