ベルヌーイ分布

Essential
最終更新: タグ: 確率, 確率変数, 分布

前提知識

ベルヌーイ分布は最もシンプルな非自明な確率変数だ:成功か失敗かのどちらかに終わる単一の二値試行。より複雑なすべての離散分布——二項分布・幾何分布・負の二項分布——は直接これの上に構築される。

定義

確率変数 XX がパラメータ p∈[0,1]p \in [0, 1] のベルヌーイ分布(Bernoulli distribution)に従うとき、X∼Bernoulli(p)X \sim \text{Bernoulli}(p) と書き、XX は 00 と 11 のみの値をとり

P(X=1)=p,P(X=0)=1−pP(X = 1) = p, \qquad P(X = 0) = 1 - p

を満たす。値 11 は慣習上成功、00 は失敗と呼ばれる。単一パラメータ pp は成功確率だ。

閉形式の PMF

二つの場合を一つの式にまとめると:

P(X=k)=pk(1−p)1−k,k∈{0,1}.P(X = k) = p^k (1-p)^{1-k}, \qquad k \in \{0, 1\}.

累積分布関数

累積分布関数(CDF:cumulative distribution function)は区分的に定数だ:

F(x)≔P(X≤x)={0x<0,1−p0≤x<1,1x≥1.F(x) \coloneqq P(X \le x) = \begin{cases} 0 & x < 0, \\ 1 - p & 0 \le x < 1, \\ 1 & x \ge 1. \end{cases}

平均

XX の期待値は、離散確率変数の期待値の定義から直接求まる:

E[X]=0⋅P(X=0)+1⋅P(X=1)=0⋅(1−p)+1⋅p=p.E[X] = 0 \cdot P(X = 0) + 1 \cdot P(X = 1) = 0 \cdot (1-p) + 1 \cdot p = p.

したがって E[X]=pE[X] = p:平均は成功確率そのものだ。

分散

Var(X)=E[X2]−(E[X])2\text{Var}(X) = E[X^2] - (E[X])^2 を計算するには、まず X∈{0,1}X \in \{0, 1\} なので X2=XX^2 = X が成り立ち、E[X2]=E[X]=pE[X^2] = E[X] = p となることに注目する。したがって

Var(X)=p−p2=p(1−p).\text{Var}(X) = p - p^2 = p(1-p).

分散は p=12p = \tfrac{1}{2}(最大の不確実性)で最大となり、p=0p = 0 または p=1p = 1(結果が確定)でゼロに崩壊する。

モーメント母関数

XX のモーメント母関数(MGF:moment generating function)は

M(t)≔E[etX]=et⋅0(1−p)+et⋅1p=(1−p)+pet.M(t) \coloneqq E[e^{tX}] = e^{t \cdot 0}(1-p) + e^{t \cdot 1} p = (1 - p) + p e^t.

このコンパクトな表現により、nn 個の独立なコピーを掛け合わせることで二項分布の MGF を直接導出できる。

まとめ

  • X∼Bernoulli(p)X \sim \text{Bernoulli}(p) は成功確率 p∈[0,1]p \in [0,1] の単一の二値試行をモデル化する。
  • PMF:P(X=k)=pk(1−p)1−kP(X = k) = p^k(1-p)^{1-k}(k∈{0,1}k \in \{0,1\})。
  • 平均:E[X]=pE[X] = p。
  • 分散:Var(X)=p(1−p)\text{Var}(X) = p(1-p)、p=12p = \tfrac{1}{2} で最大。
  • MGF:M(t)=(1−p)+petM(t) = (1-p) + pe^t。
  • ベルヌーイ分布は二項分布・幾何分布・負の二項分布の原子的構成要素だ。