ベルヌーイ分布

Essential
最終更新: タグ: 確率, 確率変数, 分布

前提知識

ベルヌーイ分布は最もシンプルな非自明な確率変数だ:成功か失敗かのどちらかに終わる単一の二値試行。より複雑なすべての離散分布——二項分布・幾何分布・負の二項分布——は直接これの上に構築される。

定義

確率変数 XX がパラメータ p[0,1]p \in [0, 1]ベルヌーイ分布(Bernoulli distribution)に従うとき、XBernoulli(p)X \sim \text{Bernoulli}(p) と書き、XX0011 のみの値をとり

P(X=1)=p,P(X=0)=1pP(X = 1) = p, \qquad P(X = 0) = 1 - p

を満たす。値 11 は慣習上成功00失敗と呼ばれる。単一パラメータ pp成功確率だ。

閉形式の PMF

二つの場合を一つの式にまとめると:

P(X=k)=pk(1p)1k,k{0,1}.P(X = k) = p^k (1-p)^{1-k}, \qquad k \in \{0, 1\}.

累積分布関数

累積分布関数(CDF:cumulative distribution function)は区分的に定数だ:

F(x)P(Xx)={0x<0,1p0x<1,1x1.F(x) \coloneqq P(X \le x) = \begin{cases} 0 & x < 0, \\ 1 - p & 0 \le x < 1, \\ 1 & x \ge 1. \end{cases}

平均

XX期待値は、離散確率変数の期待値の定義から直接求まる:

E[X]=0P(X=0)+1P(X=1)=0(1p)+1p=p.E[X] = 0 \cdot P(X = 0) + 1 \cdot P(X = 1) = 0 \cdot (1-p) + 1 \cdot p = p.

したがって E[X]=pE[X] = p:平均は成功確率そのものだ。

分散

Var(X)=E[X2](E[X])2\text{Var}(X) = E[X^2] - (E[X])^2 を計算するには、まず X{0,1}X \in \{0, 1\} なので X2=XX^2 = X が成り立ち、E[X2]=E[X]=pE[X^2] = E[X] = p となることに注目する。したがって

Var(X)=pp2=p(1p).\text{Var}(X) = p - p^2 = p(1-p).

分散は p=12p = \tfrac{1}{2}(最大の不確実性)で最大となり、p=0p = 0 または p=1p = 1(結果が確定)でゼロに崩壊する。

モーメント母関数

XXモーメント母関数(MGF:moment generating function)は

M(t)E[etX]=et0(1p)+et1p=(1p)+pet.M(t) \coloneqq E[e^{tX}] = e^{t \cdot 0}(1-p) + e^{t \cdot 1} p = (1 - p) + p e^t.

このコンパクトな表現により、nn 個の独立なコピーを掛け合わせることで二項分布の MGF を直接導出できる。

まとめ

  • XBernoulli(p)X \sim \text{Bernoulli}(p) は成功確率 p[0,1]p \in [0,1] の単一の二値試行をモデル化する。
  • PMF:P(X=k)=pk(1p)1kP(X = k) = p^k(1-p)^{1-k}k{0,1}k \in \{0,1\})。
  • 平均:E[X]=pE[X] = p
  • 分散:Var(X)=p(1p)\text{Var}(X) = p(1-p)p=12p = \tfrac{1}{2} で最大。
  • MGF:M(t)=(1p)+petM(t) = (1-p) + pe^t
  • ベルヌーイ分布は二項分布・幾何分布・負の二項分布の原子的構成要素だ。