正規分布

Essential
最終更新: タグ: 確率, 確率変数, 分布

前提知識

成人の身長・測定誤差・試験の点数・多くの独立な観測値の平均——自然界に現れる量をほぼ何でも測ると、同じ釣り鐘型の曲線が繰り返し現れる。正規分布（normal distribution）（ガウス分布（Gaussian distribution）とも呼ばれる）は平均の普遍的な分布であり、応用数学と統計学のほぼすべての分野で不可欠だ。

ガウス積分

正規分布を定義する前に、一つの古典的な結果が必要だ：

I≔∫−∞∞e−x2 dx=π.I \coloneqq \int_{-\infty}^{\infty} e^{-x^2}\, dx = \sqrt{\pi}.

極座標による証明。 I2I^2 を考える：

I2=(∫−∞∞e−x2 dx) ⁣(∫−∞∞e−y2 dy)=∬R2e−(x2+y2) dx dy.I^2 = \left(\int_{-\infty}^{\infty} e^{-x^2}\, dx\right)\!\left(\int_{-\infty}^{\infty} e^{-y^2}\, dy\right) = \iint_{\mathbb{R}^2} e^{-(x^2 + y^2)}\, dx\, dy.

極座標 x=rcos⁡θx = r\cos\theta、y=rsin⁡θy = r\sin\theta（r≥0r \geq 0、θ∈[0,2π)\theta \in [0, 2\pi)）に変換する。ヤコビアンは rr で、x2+y2=r2x^2 + y^2 = r^2 だ：

I2=∫02π∫0∞e−r2r dr dθ=2π∫0∞re−r2 dr.I^2 = \int_0^{2\pi}\int_0^{\infty} e^{-r^2} r\, dr\, d\theta = 2\pi \int_0^{\infty} r e^{-r^2}\, dr.

u=r2u = r^2、du=2r drdu = 2r\, dr と置換すると：

I2=2π∫0∞12e−u du=π⋅[−e−u]0∞=π.I^2 = 2\pi \int_0^{\infty} \frac{1}{2} e^{-u}\, du = \pi \cdot \bigl[-e^{-u}\bigr]_0^{\infty} = \pi.

I>0I > 0 なので I=πI = \sqrt{\pi} が結論される。□\square

x=t/2x = t/\sqrt{2} と置換すると、すぐに有用なスケール変換した形が得られる：

∫−∞∞e−t2/2 dt=2π.\int_{-\infty}^{\infty} e^{-t^2/2}\, dt = \sqrt{2\pi}.

標準正規分布

標準正規分布 Z∼N(0,1)Z \sim N(0, 1) の確率密度関数（PDF）は

φ(x)≔12π e−x2/2,x∈R.\varphi(x) \coloneqq \frac{1}{\sqrt{2\pi}}\, e^{-x^2/2}, \qquad x \in \mathbb{R}.

φ\varphi が 1 に積分されることの検証

∫−∞∞φ(x) dx=12π∫−∞∞e−x2/2 dx=12π⋅2π=1,\int_{-\infty}^{\infty} \varphi(x)\, dx = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-x^2/2}\, dx = \frac{1}{\sqrt{2\pi}} \cdot \sqrt{2\pi} = 1,

上のガウス積分の結果を使う。1/2π1/\sqrt{2\pi} という因子がまさに正規化定数だ。

一般正規分布

μ∈R\mu \in \mathbb{R} を位置パラメータ（平均）、σ2>0\sigma^2 > 0 をスケールパラメータ（分散）とする。確率変数 XX が平均 μ\mu、分散 σ2\sigma^2 の正規分布に従うとき、X∼N(μ,σ2)X \sim N(\mu, \sigma^2) と書き、

X≔μ+σZ,Z∼N(0,1)X \coloneqq \mu + \sigma Z, \qquad Z \sim N(0, 1)

と定義される。同等に XX の PDF は

f(x)≔12πσ2 exp⁡ ⁣(−(x−μ)22σ2),x∈R.f(x) \coloneqq \frac{1}{\sqrt{2\pi\sigma^2}}\,\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right), \qquad x \in \mathbb{R}.

検証。 z=(x−μ)/σz = (x - \mu)/\sigma と置換すると積分 ∫−∞∞f(x) dx\int_{-\infty}^\infty f(x)\,dx は ∫−∞∞φ(z) dz=1\int_{-\infty}^\infty \varphi(z)\,dz = 1 に変換される。

パラメータ σ≔σ2\sigma \coloneqq \sqrt{\sigma^2} は標準偏差だ。

平均

E[X]=E[μ+σZ]=μ+σE[Z].E[X] = E[\mu + \sigma Z] = \mu + \sigma E[Z].

φ\varphi の 00 に関する対称性から E[Z]=0E[Z] = 0 だ（被積分関数 xφ(x)x \varphi(x) は奇関数）。したがって

E[X]=μ.E[X] = \mu.

分散

標準正規分布の Var⁡(Z)=E[Z2]\operatorname{Var}(Z) = E[Z^2] が必要だ（E[Z]=0E[Z] = 0 なので）。u=xu = x、dv=xe−x2/2 dxdv = x e^{-x^2/2}\,dx として部分積分すると v=−e−x2/2v = -e^{-x^2/2}：

E[Z2]=12π∫−∞∞x2e−x2/2 dx=12π([−xe−x2/2]−∞∞+∫−∞∞e−x2/2 dx).E[Z^2] = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} x^2 e^{-x^2/2}\, dx = \frac{1}{\sqrt{2\pi}} \left(\Bigl[-x e^{-x^2/2}\Bigr]_{-\infty}^{\infty} + \int_{-\infty}^{\infty} e^{-x^2/2}\, dx\right).

xe−x2/2→0x e^{-x^2/2} \to 0（∣x∣→∞|x| \to \infty）なので境界項はゼロだ。残りの積分は 2π\sqrt{2\pi} なので

E[Z2]=12π⋅2π=1.E[Z^2] = \frac{1}{\sqrt{2\pi}} \cdot \sqrt{2\pi} = 1.

したがって Var⁡(Z)=1\operatorname{Var}(Z) = 1 だ。一般の場合は X=μ+σZX = \mu + \sigma Z を使うと：

Var⁡(X)=σ2Var⁡(Z)=σ2.\operatorname{Var}(X) = \sigma^2 \operatorname{Var}(Z) = \sigma^2.

アフィン安定性

定理。 X∼N(μ,σ2)X \sim N(\mu, \sigma^2) かつ a,b∈Ra, b \in \mathbb{R}（a≠0a \neq 0）ならば

aX+b∼N(aμ+b,  a2σ2).aX + b \sim N(a\mu + b,\; a^2\sigma^2).

証明。 X=μ+σZX = \mu + \sigma Z（Z∼N(0,1)Z \sim N(0,1)）と書く。すると

aX+b=a(μ+σZ)+b=(aμ+b)+(aσ)Z.aX + b = a(\mu + \sigma Z) + b = (a\mu + b) + (a\sigma) Z.

これは μ′=aμ+b\mu' = a\mu + b、σ′=aσ\sigma' = a\sigma として μ′+σ′Z\mu' + \sigma' Z の形をしており、aX+b∼N(aμ+b, a2σ2)aX + b \sim N(a\mu + b,\, a^2\sigma^2) が従う。□\square

系。 任意の X∼N(μ,σ2)X \sim N(\mu, \sigma^2) は標準化できる：(X−μ)/σ∼N(0,1)(X - \mu)/\sigma \sim N(0, 1)。

中心極限定理

正規分布は多くある分布の一つに留まらない——標準化された和の普遍的な極限だ。中心極限定理（CLT：Central Limit Theorem）はこれを精密にする。

定理（CLT）。 X1,X2,…X_1, X_2, \ldots を平均 μ\mu、有限分散 σ2>0\sigma^2 > 0 を持つ独立同分布（i.i.d.）の確率変数列とする。標準化された和を

Zn≔(X1+X2+⋯+Xn)−nμσnZ_n \coloneqq \frac{(X_1 + X_2 + \cdots + X_n) - n\mu}{\sigma\sqrt{n}}

と定義する。このとき Zn→dN(0,1)Z_n \xrightarrow{d} N(0, 1)（n→∞n \to \infty）：すべての z∈Rz \in \mathbb{R} に対して

lim⁡n→∞P(Zn≤z)=Φ(z)≔∫−∞zφ(t) dt.\lim_{n \to \infty} P(Z_n \leq z) = \Phi(z) \coloneqq \int_{-\infty}^{z} \varphi(t)\, dt.

正規分布が遍在する理由。 観測される量が、多くの小さな独立した要因の集積効果——測定ノイズ・生物学的特性・金融リターン——であれば、個々の寄与分布の形状によらず正規分布で良く近似される。CLT はベル型曲線が科学全般に現れることの数学的な説明だ。

まとめ

  • Z∼N(0,1)Z \sim N(0,1) は PDF φ(x)=12πe−x2/2\varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} を持つ；正規化定数 1/2π1/\sqrt{2\pi} はガウス積分 ∫−∞∞e−t2/2 dt=2π\int_{-\infty}^\infty e^{-t^2/2}\,dt = \sqrt{2\pi} から従う。
  • X∼N(μ,σ2)X \sim N(\mu, \sigma^2) は PDF f(x)=12πσ2exp⁡ ⁣(−(x−μ)2/(2σ2))f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\bigl(-(x-\mu)^2/(2\sigma^2)\bigr) を持ち、Z∼N(0,1)Z \sim N(0,1) として X=μ+σZX = \mu + \sigma Z を満たす。
  • 平均： E[X]=μE[X] = \mu（標準正規分布の対称性による）。
  • 分散： Var⁡(X)=σ2\operatorname{Var}(X) = \sigma^2（部分積分により導出）。
  • アフィン安定性： aX+b∼N(aμ+b,a2σ2)aX + b \sim N(a\mu + b, a^2\sigma^2)；特に (X−μ)/σ∼N(0,1)(X-\mu)/\sigma \sim N(0,1)。
  • 中心極限定理： 任意の nn 個の i.i.d. 有限分散変数の標準化された和は分布収束で N(0,1)N(0,1) に収束し、正規分布の遍在性を説明する。