モーメント母関数

Essential
最終更新: タグ: 確率, 期待値

前提知識

母関数（generating function）は無限個の数を一つの解析的対象にまとめる。モーメント母関数（MGF：moment generating function）は確率変数のモーメントをすべて一つの冪級数にまとめたものだ。多くの有用な分布はシンプルな MGF を持ち、独立な変数の和の MGF はそれぞれの MGF の積になるため、MGF は和の分布の計算と極限定理の証明に強力な道具となる。

定義

確率変数 XX のモーメント母関数は

MX(t)≔E[etX],t∈RM_X(t) \coloneqq E\bigl[e^{tX}\bigr], \quad t \in \mathbb{R}

と定義され、期待値が有限となる 00 のまわりの開区間上で定義される。離散分布の場合：

MX(t)=∑ketxkpk.M_X(t) = \sum_k e^{t x_k} p_k.

絶対連続分布の場合：

MX(t)=∫−∞+∞etxfX(x) dx.M_X(t) = \int_{-\infty}^{+\infty} e^{tx} f_X(x) \, dx.

どちらも分布のラプラス（Laplace）変換（s=−ts = -t とおいたもの）だ。

MGF からモーメントを復元する

etXe^{tX} を冪級数として展開する：

etX=∑k=0∞(tX)kk!=∑k=0∞Xkk!tk.e^{tX} = \sum_{k=0}^{\infty} \frac{(tX)^k}{k!} = \sum_{k=0}^{\infty} \frac{X^k}{k!} t^k.

期待値をとると（MX(t)M_X(t) が 00 の近くで有限のとき優収束定理により正当化される）：

MX(t)=∑k=0∞E[Xk]k!tk=∑k=0∞μk′k!tk.(1)M_X(t) = \sum_{k=0}^{\infty} \frac{E[X^k]}{k!} t^k = \sum_{k=0}^{\infty} \frac{\mu'_k}{k!} t^k. \tag{1}

これより MX(t)M_X(t) は tt に関する冪級数で、その係数が生モーメントを符号化していることがわかる。kk 回微分して t=0t = 0 で評価すると：

MX(k)(0)=E[Xk]=μk′.(2)M_X^{(k)}(0) = E[X^k] = \mu'_k. \tag{2}

すなわち第 kk モーメントは MGF の t=0t = 0 における第 kk 導関数の値だ。これが定義的な性質：MGF はモーメントを生成する。

標準的な分布の MGF

分布MX(t)M_X(t)定義域
Bernoulli⁡(p)\operatorname{Bernoulli}(p)(1−p)+pet(1-p) + pe^tt∈Rt \in \mathbb{R}
Bin⁡(n,p)\operatorname{Bin}(n, p)(1−p+pet)n(1-p+pe^t)^nt∈Rt \in \mathbb{R}
Poisson⁡(λ)\operatorname{Poisson}(\lambda)exp⁡(λ(et−1))\exp(\lambda(e^t - 1))t∈Rt \in \mathbb{R}
Exp⁡(λ)\operatorname{Exp}(\lambda)λλ−t\dfrac{\lambda}{\lambda - t}t<λt < \lambda
Gamma⁡(α,λ)\operatorname{Gamma}(\alpha, \lambda)(λλ−t)α\left(\dfrac{\lambda}{\lambda - t}\right)^\alphat<λt < \lambda
N⁡(μ,σ2)\operatorname{N}(\mu, \sigma^2)exp⁡ ⁣(μt+σ2t22)\exp\!\left(\mu t + \tfrac{\sigma^2 t^2}{2}\right)t∈Rt \in \mathbb{R}

N⁡(0,1)\operatorname{N}(0,1) の導出。 密度 f(x)=12πe−x2/2f(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} に対して：

MX(t)=∫−∞+∞etx⋅e−x2/22π dx=∫−∞+∞e−(x−t)2/2+t2/22π dx=et2/2∫−∞+∞e−(x−t)2/22π dx=et2/2,M_X(t) = \int_{-\infty}^{+\infty} e^{tx} \cdot \frac{e^{-x^2/2}}{\sqrt{2\pi}} \, dx = \int_{-\infty}^{+\infty} \frac{e^{-(x-t)^2/2 + t^2/2}}{\sqrt{2\pi}} \, dx = e^{t^2/2} \int_{-\infty}^{+\infty} \frac{e^{-(x-t)^2/2}}{\sqrt{2\pi}} \, dx = e^{t^2/2},

平方完成を行い、残りの積分が 11 に積分されるガウス積分であることを認識することで得られる。

独立な変数に対する乗法的性質

定理。 XX と YY が 独立な 確率変数であり、MXM_X と MYM_Y がともに 00 を含む開区間上で有限ならば、X+YX + Y の MGF は

MX+Y(t)=MX(t)⋅MY(t).(3)M_{X+Y}(t) = M_X(t) \cdot M_Y(t). \tag{3}

証明。 独立性より etXe^{tX} と etYe^{tY} もそれぞれ XX、YY の可測関数として独立なので：

MX+Y(t)=E[et(X+Y)]=E[etXetY]=E[etX]⋅E[etY]=MX(t)⋅MY(t).M_{X+Y}(t) = E\bigl[e^{t(X+Y)}\bigr] = E\bigl[e^{tX} e^{tY}\bigr] = E\bigl[e^{tX}\bigr] \cdot E\bigl[e^{tY}\bigr] = M_X(t) \cdot M_Y(t).

応用。 性質 (3)(3) により、MGF を比較することで独立な変数の和の分布を同定しやすくなる：

  • X∼Bin⁡(m,p)X \sim \operatorname{Bin}(m,p)、Y∼Bin⁡(n,p)Y \sim \operatorname{Bin}(n,p) が独立：MX+Y(t)=(1−p+pet)m+nM_{X+Y}(t) = (1-p+pe^t)^{m+n} なので X+Y∼Bin⁡(m+n,p)X + Y \sim \operatorname{Bin}(m+n, p)。
  • X∼Poisson⁡(λ)X \sim \operatorname{Poisson}(\lambda)、Y∼Poisson⁡(μ)Y \sim \operatorname{Poisson}(\mu) が独立：MX+Y(t)=e(λ+μ)(et−1)M_{X+Y}(t) = e^{(\lambda+\mu)(e^t-1)} なので X+Y∼Poisson⁡(λ+μ)X + Y \sim \operatorname{Poisson}(\lambda + \mu)。
  • X∼N⁡(μ1,σ12)X \sim \operatorname{N}(\mu_1, \sigma_1^2)、Y∼N⁡(μ2,σ22)Y \sim \operatorname{N}(\mu_2, \sigma_2^2) が独立：MX+Y(t)=e(μ1+μ2)t+(σ12+σ22)t2/2M_{X+Y}(t) = e^{(\mu_1+\mu_2)t + (\sigma_1^2+\sigma_2^2)t^2/2} なので X+Y∼N⁡(μ1+μ2,σ12+σ22)X + Y \sim \operatorname{N}(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)。

一意性：MGF は分布を決定する

定理。 MX(t)M_X(t) がある δ>0\delta > 0 に対して開区間 (−δ,δ)(-\delta, \delta) 上のすべての tt で有限ならば、MXM_X は XX の分布を一意に決定する。

より正確に：MX(t)=MY(t)M_X(t) = M_Y(t) がすべての t∈(−δ,δ)t \in (-\delta, \delta) で成り立つならば PX=PYP_X = P_Y（分布が同一）。

これが MGF で分布を安全に同定できる理由だ——上の計算で MX+Y=MN⁡(μ1+μ2,σ12+σ22)M_{X+Y} = M_{\operatorname{N}(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)} が成り立つことは、X+YX + Y が正規分布に従うことを本当に意味する。

存在の注意点。 MGF はすべての t≠0t \neq 0 で存在する（有限になる）とは限らない。コーシー分布は MGF を持たない。対数正規分布の MGF はすべての t>0t > 0 で +∞+\infty だ。MGF が 00 の近傍で存在しない場合、モーメント列は分布を決定しないことがある（対数正規分布が古典的な例だ）。そのような場合、特性関数（characteristic function）φX(t)=E[eitX]\varphi_X(t) = E[e^{itX}]（i=−1i = \sqrt{-1}）が常に存在し常に分布を決定するため、理論的な研究ではより一般的な道具となる。

キュムラント

キュムラント母関数（cumulant generating function）は MGF の対数だ：

KX(t)≔ln⁡MX(t)=ln⁡E[etX].K_X(t) \coloneqq \ln M_X(t) = \ln E[e^{tX}].

その 00 での導関数をキュムラント（cumulant）κk≔KX(k)(0)\kappa_k \coloneqq K_X^{(k)}(0) という。最初の二つのキュムラントは平均と分散だ：

κ1=E[X]=μ,κ2=Var⁡(X)=σ2.\kappa_1 = E[X] = \mu, \qquad \kappa_2 = \operatorname{Var}(X) = \sigma^2.

独立な X,YX, Y に対して：KX+Y(t)=KX(t)+KY(t)K_{X+Y}(t) = K_X(t) + K_Y(t) なので、分散と同様にキュムラントは独立性のもとで加算される。この加法性により多くの計算でキュムラントは特に扱いやすい。

まとめ

  • MGF MX(t)=E[etX]M_X(t) = E[e^{tX}] はすべてのモーメントを 00 での導関数として符号化する：MX(k)(0)=E[Xk]M_X^{(k)}(0) = E[X^k]。
  • 標準的な MGF：二項分布 (1−p+pet)n(1-p+pe^t)^n；ポアソン分布 eλ(et−1)e^{\lambda(e^t-1)}；指数分布 λ/(λ−t)\lambda/(\lambda-t)；正規分布 eμt+σ2t2/2e^{\mu t + \sigma^2 t^2/2}。
  • 乗法的性質：独立な X,YX, Y に対して MX+Y=MX⋅MYM_{X+Y} = M_X \cdot M_Y ——これにより和の分布を同定できる。
  • 一意性：MXM_X が 00 の近くで有限ならば XX の分布を一意に決定する。
  • MGF が存在しないこともある（コーシー分布・対数正規分布など）；そのような場合は常に存在し常に分布を決定する特性関数 E[eitX]E[e^{itX}] が使われる。
  • キュムラント母関数 ln⁡MX(t)\ln M_X(t) の 00 での導関数がキュムラントであり、独立性のもとで加算される。