事象の独立性 — Project Hematite

昨日雨が降ったことを知れば、今日地面が濡れている確率は変わる。しかし公平なコインの1回目が表だったことは、2回目の結果について何も教えてくれない。独立（independence）は、この「情報なし」の条件を形式化したものだ。

定義

定義。 事象 $A$ と $B$ が独立（independent）であるとは

P(A \cap B) = P(A) \, P(B) \tag{1}

が成立することをいう。

この定義は対称的（ $A$ が $B$ に独立 $\Leftrightarrow$ $B$ が $A$ に独立）であり、 $P(A) = 0$ や $P(B) = 0$ の場合にも機能する（条件付き確率の表現ではこれらの場合が未定義になる）。

同値条件。 $P(B) > 0$ のとき、独立性 $(1)$ は

P(A \mid B) = P(A) \tag{2}

と同値だ。

証明。 $P(A \mid B) = P(A \cap B) / P(B) = P(A) P(B) / P(B) = P(A)$ 。

すなわち独立とは、 $B$ を条件としても $A$ について何も情報が得られないことを意味する：条件付き確率 $P(A \mid B)$ が無条件の $P(A)$ と等しい。

独立と補集合

$A$ と $B$ が独立ならば、 $A$ と $B^c$ 、 $A^c$ と $B$ 、 $A^c$ と $B^c$ も互いに独立だ。

証明（ $A$ と $B^c$ の場合）。 $A = (A \cap B) \cup (A \cap B^c)$ と互いに素に分解する：

P(A) = P(A \cap B) + P(A \cap B^c) = P(A) P(B) + P(A \cap B^c),

よって $P(A \cap B^c) = P(A)(1 - P(B)) = P(A) P(B^c)$ 。残りの場合は対称性から従う。

事象の族の独立性

2つの事象の独立性は、より大きな族に対して2通りの非同値な方法で一般化される。

二項独立（pairwise independence）。 事象 $A_1, \ldots, A_n$ が二項独立であるとは、すべての対について独立であることをいう：

P(A_i \cap A_j) = P(A_i) P(A_j) \quad \text{すべての } i \neq j \text{ について。}

相互独立（mutual independence）。 事象 $A_1, \ldots, A_n$ が相互独立（または完全独立）であるとは、すべての部分族について積の公式が成立することをいう：

P\!\left(\bigcap_{i \in S} A_i\right) = \prod_{i \in S} P(A_i) \quad \text{すべての } S \subseteq \{1, \ldots, n\},\ |S| \geq 2 \text{ について。} \tag{3}

相互独立は $\binom{n}{2}$ 個の対の条件だけでなく、 $2^n - n - 1$ 個の等式を要求する。二項独立は相互独立を意味しない。

反例。 公平なコインを2回投げる。 $A$ = 1回目が表、 $B$ = 2回目が表、 $C$ = ちょうど1回表。それぞれ確率 $\frac{1}{2}$ であり、すべての対が独立（例えば $P(A \cap B) = \frac{1}{4} = P(A)P(B)$ ）だが、

P(A \cap B \cap C) = P(\text{どちらも表かつちょうど1回表}) = 0 \neq \tfrac{1}{8} = P(A) P(B) P(C).

3つの事象は二項独立だが相互独立ではない。

独立と排反の違い

この2つの概念はしばしば混同されるが、ほぼ正反対だ。

	$P(A \cap B)$	意味
互いに排反（mutually exclusive）	$= 0$	同時には起こり得ない
独立（independent）	$= P(A) P(B)$	一方を知っても他方の情報にならない

$P(A) > 0$ かつ $P(B) > 0$ のとき $P(A) P(B) > 0$ なので、排反事象（ $P(A \cap B) = 0$ ）は独立ではなく従属だ。直観： $A$ と $B$ が同時に起こり得ないなら、 $A$ が起きたと知れば $B$ が起きていないと確定する——これは最も強い意味での従属だ。

まとめ

2つの事象の独立性： $P(A \cap B) = P(A) P(B)$ ； $P(B) > 0$ のとき $P(A \mid B) = P(A)$ と同値。
補集合に関して閉じている： $A \perp B$ ならば $A \perp B^c$ 、 $A^c \perp B$ 、 $A^c \perp B^c$ 。
二項独立 vs. 相互独立：二項独立（すべての対で $P(A_i \cap A_j) = P(A_i) P(A_j)$ ）は相互独立（大きさ2以上のすべての部分族で積の公式）を意味しない。
独立 $\neq$ 排反：正の確率を持つ2つの事象が独立かつ排反であることはできない；正の確率を持つ排反事象は必ず従属だ。