分散

Essential
最終更新: タグ: Probability, Expectation

前提知識

期待値は分布の中心を教えてくれる。分散はその中心周りの広がりを教えてくれる——典型的な観測値が平均からどれだけ離れているか。これは分布の最も単純な 2 次特性であり、推定量の標準誤差から金融商品のボラティリティまであらゆるものの基礎をなす。

定義

XX を有限な期待値 μ≔E[X]\mu \coloneqq E[X] を持つ確率変数とする。XX の分散（variance）を次で定義する：

Var⁡(X)≔E[(X−μ)2].\operatorname{Var}(X) \coloneqq E\bigl[(X - \mu)^2\bigr].

XX の平均からの期待二乗偏差だ。(X−μ)2≥0(X - \mu)^2 \geq 0 なので、分散は常に非負：Var⁡(X)≥0\operatorname{Var}(X) \geq 0。

標準偏差（standard deviation）は

σX≔Var⁡(X),\sigma_X \coloneqq \sqrt{\operatorname{Var}(X)},

XX 自身と同じ物理的単位を持つ。分散の方が代数的に扱いやすいが、実用上は標準偏差を報告する。

計算公式

二乗を展開して期待値の線形性を適用すると、μ\mu を先に計算せずに済む公式が得られる：

Var⁡(X)=E[X2]−(E[X])2.(1)\operatorname{Var}(X) = E[X^2] - (E[X])^2. \tag{1}

証明。

Var⁡(X)=E[(X−μ)2]=E[X2−2μX+μ2]=E[X2]−2μE[X]+μ2=E[X2]−μ2.\operatorname{Var}(X) = E\bigl[(X - \mu)^2\bigr] = E[X^2 - 2\mu X + \mu^2] = E[X^2] - 2\mu E[X] + \mu^2 = E[X^2] - \mu^2.

公式 (1)(1) は標準的な計算上の近道だ：E[X]E[X] と E[X2]E[X^2] だけ計算すればよい。

例。 密度 f(x)=1b−af(x) = \frac{1}{b-a}（x∈[a,b]x \in [a,b]）を持つ X∼Uniform⁡(a,b)X \sim \operatorname{Uniform}(a, b) に対して：

E[X]=a+b2,E[X2]=a2+ab+b23,E[X] = \frac{a+b}{2}, \qquad E[X^2] = \frac{a^2 + ab + b^2}{3},

ゆえに

Var⁡(X)=a2+ab+b23−(a+b)24=(b−a)212.\operatorname{Var}(X) = \frac{a^2 + ab + b^2}{3} - \frac{(a+b)^2}{4} = \frac{(b-a)^2}{12}.

スケール則とシフト則

定理。 定数 a,b∈Ra, b \in \mathbb{R} に対して：

Var⁡(aX+b)=a2Var⁡(X).(2)\operatorname{Var}(aX + b) = a^2 \operatorname{Var}(X). \tag{2}

証明。 Y=aX+bY = aX + b と置く。E[Y]=aE[X]+bE[Y] = aE[X] + b なので Y−E[Y]=a(X−E[X])Y - E[Y] = a(X - E[X])。したがって：

Var⁡(Y)=E[(Y−E[Y])2]=E[a2(X−E[X])2]=a2Var⁡(X).\operatorname{Var}(Y) = E\bigl[(Y - E[Y])^2\bigr] = E\bigl[a^2 (X - E[X])^2\bigr] = a^2 \operatorname{Var}(X).

2 つの観察：

  • シフトは分散に影響しない。 定数 bb を加えると分布は移動するが、広がりは変わらない。
  • スケールは二乗される。 XX を aa 倍すると標準偏差は ∣a∣|a| 倍、分散は a2a^2 倍になる。

同値な表現：σaX+b=∣a∣σX\sigma_{aX+b} = |a| \sigma_X。

分散は線形でない

期待値と異なり、分散は線形でない：一般に Var⁡(X+Y)≠Var⁡(X)+Var⁡(Y)\operatorname{Var}(X + Y) \neq \operatorname{Var}(X) + \operatorname{Var}(Y)。正しい公式は共分散（covariance）を含む：

Var⁡(X+Y)=Var⁡(X)+2Cov⁡(X,Y)+Var⁡(Y).\operatorname{Var}(X + Y) = \operatorname{Var}(X) + 2\operatorname{Cov}(X, Y) + \operatorname{Var}(Y).

XX と YY が独立のとき Cov⁡(X,Y)=0\operatorname{Cov}(X, Y) = 0（確率変数の独立性で証明）なので、独立性は加法性を与える：

Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)（X,Y が独立のとき）.\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) \quad \text{（$X, Y$ が独立のとき）.}

より一般に、nn 個の独立な変数に対して：

Var⁡(X1+⋯+Xn)=Var⁡(X1)+⋯+Var⁡(Xn).\operatorname{Var}(X_1 + \cdots + X_n) = \operatorname{Var}(X_1) + \cdots + \operatorname{Var}(X_n).

チェビシェフの不等式

分散は平均からの大きな偏差の確率を押さえる。チェビシェフの不等式（Chebyshev’s inequality）：任意の k>0k > 0 に対して、

P(∣X−μ∣≥kσ)≤1k2.(3)P\bigl(|X - \mu| \geq k\sigma\bigr) \leq \frac{1}{k^2}. \tag{3}

より一般に、任意の ε>0\varepsilon > 0 に対して：

P(∣X−μ∣≥ε)≤Var⁡(X)ε2.P\bigl(|X - \mu| \geq \varepsilon\bigr) \leq \frac{\operatorname{Var}(X)}{\varepsilon^2}.

証明。 非負確率変数 (X−μ)2(X - \mu)^2 にマルコフの不等式を適用する：

P((X−μ)2≥ε2)≤E[(X−μ)2]ε2=Var⁡(X)ε2.P\bigl((X - \mu)^2 \geq \varepsilon^2\bigr) \leq \frac{E[(X-\mu)^2]}{\varepsilon^2} = \frac{\operatorname{Var}(X)}{\varepsilon^2}.

チェビシェフの不等式は弱い（任意の分布に対して成立する）が、普遍的に適用できる。大数の弱法則の証明において鍵となる道具だ：X1,X2,…X_1, X_2, \ldots が平均 μ\mu・有限分散を持つ独立同分布列ならば、X‾n=1n∑k=1nXk\overline{X}_n = \frac{1}{n}\sum_{k=1}^n X_k は確率収束で μ\mu に収束する。

概略。 E[X‾n]=μE[\overline{X}_n] = \mu かつ独立性とスケール則から Var⁡(X‾n)=Var⁡(X1)n→0\operatorname{Var}(\overline{X}_n) = \frac{\operatorname{Var}(X_1)}{n} \to 0。チェビシェフより P(∣X‾n−μ∣≥ε)≤Var⁡(X1)nε2→0P(|\overline{X}_n - \mu| \geq \varepsilon) \leq \frac{\operatorname{Var}(X_1)}{n\varepsilon^2} \to 0。

分散を使う理由：平均絶対偏差との比較

分散は偏差を二乗する。代替の散らばりの指標として平均絶対偏差（mean absolute deviation）E[∣X−μ∣]E[|X - \mu|] がある。両方とも散らばりを捉えるが、分散には 3 つの実用上の利点がある：

  1. 代数。 独立な変数の和の分散は分散の和になる（上記）。平均絶対偏差にこの結果の類似物はない。
  2. 滑らかさ。 x↦x2x \mapsto x^2 はいたるところ微分可能だが、x↦∣x∣x \mapsto |x| は 00 で微分不可能だ。分散は微積分ベースの導出（最小二乗法、フィッシャー情報量など）に自然に現れる。
  3. 完全性。 分散は多変量分布の共分散行列に拡張される；平均絶対偏差にはこれができない。

代償は解釈しやすさだ：σ2\sigma^2 は (\text{X の単位})^2 の単位を持つ——だから実用上は常に標準偏差 σ\sigma を分散と並べて報告する。

まとめ

  • Var⁡(X)≔E[(X−E[X])2]≥0\operatorname{Var}(X) \coloneqq E[(X - E[X])^2] \geq 0 は平均周りの平均二乗散らばりを測る。
  • 計算公式：Var⁡(X)=E[X2]−(E[X])2\operatorname{Var}(X) = E[X^2] - (E[X])^2。
  • スケール則：Var⁡(aX+b)=a2Var⁡(X)\operatorname{Var}(aX + b) = a^2 \operatorname{Var}(X)；シフトは分散に影響しない。
  • 独立性による加法性：X,YX, Y が独立のとき Var⁡(X+Y)=Var⁡(X)+Var⁡(Y)\operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)。
  • チェビシェフの不等式：P(∣X−μ∣≥ε)≤Var⁡(X)/ε2P(|X - \mu| \geq \varepsilon) \leq \operatorname{Var}(X) / \varepsilon^2——普遍的（ただし弱い）裾確率の上界。
  • 分散は代数的に自然（独立性のもとで加法的、滑らか）；XX と同じ単位を持つ標準偏差 σ=Var⁡(X)\sigma = \sqrt{\operatorname{Var}(X)} は報告に使う。