全期待値の法則

Essential
最終更新: タグ: Probability, Conditional Probability, Expectation

前提知識

全確率の法則は P(A)=∑iP(A∣Bi)P(Bi)P(A) = \sum_i P(A \mid B_i) P(B_i) を述べる。全期待値の法則（law of total expectation）はこれの期待値版だ：条件付き期待値を条件変数について平均すると無条件期待値が回復される。

定理と証明

定理（全期待値の法則）。 可積分な確率変数 XX と確率変数 YY に対して：

E[X]=E ⁣[E[X∣Y]].(1)E[X] = E\!\left[E[X \mid Y]\right]. \tag{1}

離散の場合の証明

YY が値 y1,y2,…y_1, y_2, \ldots を P(Y=yi)=piP(Y = y_i) = p_i の確率で取るとする。E[X∣Y]E[X \mid Y] は事象 {Y=yi}\{Y = y_i\} 上で E[X∣Y=yi]E[X \mid Y = y_i] の値を取る確率変数だから：

E ⁣[E[X∣Y]]=∑iE[X∣Y=yi] pi=∑i∑kxk P(X=xk∣Y=yi) pi.E\!\left[E[X \mid Y]\right] = \sum_i E[X \mid Y = y_i] \, p_i = \sum_i \sum_k x_k \, P(X = x_k \mid Y = y_i) \, p_i.

P(X=xk∣Y=yi)⋅pi=P(X=xk,Y=yi)P(X = x_k \mid Y = y_i) \cdot p_i = P(X = x_k, Y = y_i) を使うと：

=∑kxk∑iP(X=xk,Y=yi)=∑kxk P(X=xk)=E[X].□= \sum_k x_k \sum_i P(X = x_k, Y = y_i) = \sum_k x_k \, P(X = x_k) = E[X]. \qquad \square

絶対連続の場合の証明

(X,Y)(X, Y) が結合密度 fX,Yf_{X,Y} と周辺密度 fXf_X、fYf_Y を持つとする。fX∣Y(x∣y)fY(y)=fX,Y(x,y)f_{X \mid Y}(x \mid y) f_Y(y) = f_{X,Y}(x,y) とフビニの定理（Fubini’s theorem）を用いると：

E ⁣[E[X∣Y]]=∫−∞+∞E[X∣Y=y] fY(y) dy=∫−∞+∞ ⁣ ⁣(∫−∞+∞x fX∣Y(x∣y) dx)fY(y) dyE\!\left[E[X \mid Y]\right] = \int_{-\infty}^{+\infty} E[X \mid Y = y] \, f_Y(y) \, dy = \int_{-\infty}^{+\infty} \!\!\left(\int_{-\infty}^{+\infty} x \, f_{X \mid Y}(x \mid y) \, dx\right) f_Y(y) \, dy =∫−∞+∞x(∫−∞+∞fX,Y(x,y) dy)dx=∫−∞+∞x fX(x) dx=E[X].□= \int_{-\infty}^{+\infty} x \left(\int_{-\infty}^{+\infty} f_{X,Y}(x,y) \, dy\right) dx = \int_{-\infty}^{+\infty} x \, f_X(x) \, dx = E[X]. \qquad \square

計算の道具としての条件付け

(1)(1) の戦略的価値は条件変数 YY の選び方にある：E[X∣Y=y]E[X \mid Y = y] が簡単に計算できる YY を選び、YY の分布で組み合わせる。

例。 製品をバッチ単位で製造する工場を考える。バッチサイズ NN はパラメータ p=0.5p = 0.5 の幾何分布（E[N]=1/p=2E[N] = 1/p = 2）に従う。バッチサイズ nn が与えられたとき、各製品は独立に確率 q=0.1q = 0.1 で不良品だ。DD を不良品の総数とする。

NN で条件付けると、D∣N=nD \mid N = n は Binomial⁡(n,q)\operatorname{Binomial}(n, q) で平均 nqnq だから

E[D∣N]=Nq.E[D \mid N] = Nq.

全期待値の法則から：

E[D]=E[E[D∣N]]=E[Nq]=q E[N]=0.1×2=0.2.E[D] = E[E[D \mid N]] = E[Nq] = q \, E[N] = 0.1 \times 2 = 0.2.

全分散の法則

対応する恒等式が分散を2つの解釈しやすい成分に分解する：

Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y]).(2)\operatorname{Var}(X) = E[\operatorname{Var}(X \mid Y)] + \operatorname{Var}(E[X \mid Y]). \tag{2}

第1項 E[Var⁡(X∣Y)]E[\operatorname{Var}(X \mid Y)] は群内分散（within-group variance）——YY の各水準での XX の平均的な変動性。第2項 Var⁡(E[X∣Y])\operatorname{Var}(E[X \mid Y]) は群間分散（between-group variance）——条件付き平均 E[X∣Y=y]E[X \mid Y = y] が YY の水準間でどれだけ変動するか。

証明。 Var⁡(Z)=E[Z2]−(E[Z])2\operatorname{Var}(Z) = E[Z^2] - (E[Z])^2 と全期待値の法則を使う：

E[X2]=E ⁣[E[X2∣Y]]=E ⁣[Var⁡(X∣Y)+(E[X∣Y])2].E[X^2] = E\!\left[E[X^2 \mid Y]\right] = E\!\left[\operatorname{Var}(X \mid Y) + (E[X \mid Y])^2\right].

(E[X])2=(E[E[X∣Y]])2(E[X])^2 = (E[E[X \mid Y]])^2 を引くと：

Var⁡(X)=E[Var⁡(X∣Y)]+E[(E[X∣Y])2]−(E[E[X∣Y]])2=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y]).\operatorname{Var}(X) = E[\operatorname{Var}(X \mid Y)] + E[(E[X \mid Y])^2] - (E[E[X \mid Y]])^2 = E[\operatorname{Var}(X \mid Y)] + \operatorname{Var}(E[X \mid Y]).

例（続き）。 上の DD と NN の設定で、Var⁡(D∣N=n)=nq(1−q)\operatorname{Var}(D \mid N = n) = nq(1-q) なので Var⁡(D∣N)=Nq(1−q)\operatorname{Var}(D \mid N) = Nq(1-q)、E[D∣N]=NqE[D \mid N] = Nq。

幾何分布(p=0.5)(p=0.5) では Var⁡(N)=(1−p)/p2=2\operatorname{Var}(N) = (1-p)/p^2 = 2。

  • 群内分散：E[Var⁡(D∣N)]=E[Nq(1−q)]=q(1−q)E[N]=0.1×0.9×2=0.18E[\operatorname{Var}(D \mid N)] = E[Nq(1-q)] = q(1-q) E[N] = 0.1 \times 0.9 \times 2 = 0.18。
  • 群間分散：Var⁡(E[D∣N])=Var⁡(Nq)=q2Var⁡(N)=0.01×2=0.02\operatorname{Var}(E[D \mid N]) = \operatorname{Var}(Nq) = q^2 \operatorname{Var}(N) = 0.01 \times 2 = 0.02。

よって Var⁡(D)=0.18+0.02=0.20\operatorname{Var}(D) = 0.18 + 0.02 = 0.20。

まとめ

  • 全期待値の法則：E[X]=E[E[X∣Y]]E[X] = E[E[X \mid Y]]——条件付き期待値を条件変数について平均すると無条件期待値が回復される。
  • 戦略的な使い方：E[X∣Y=y]E[X \mid Y = y] が簡単な閉じた形を持つような YY を選び、YY の分布で組み合わせる。
  • 全分散の法則：Var⁡(X)=E[Var⁡(X∣Y)]+Var⁡(E[X∣Y])\operatorname{Var}(X) = E[\operatorname{Var}(X \mid Y)] + \operatorname{Var}(E[X \mid Y])——全分散 = 群内分散 + 群間分散。