共分散と相関

Essential
最終更新: タグ: Probability, Random Variables, Expectation

前提知識

2 つの確率変数は独立であったり、正に連動したり、負に連動したりしうる。分散は単一変数の平均周りの広がりを教えてくれる；共分散（covariance）は 2 つの変数がどれだけ一緒に動くかを捉える。その標準化形であるピアソン相関係数（Pearson correlation coefficient）は単位を除去して答えを [−1,1][-1, 1] に収め、スケールの異なる分布同士を比較可能にする。

定義

XX と YY を有限な 2 次モーメントを持つ確率変数とする：E[X2]<∞E[X^2] < \infty かつ E[Y2]<∞E[Y^2] < \infty。μX≔E[X]\mu_X \coloneqq E[X]、μY≔E[Y]\mu_Y \coloneqq E[Y] と置く。XX と YY の共分散を次で定義する：

Cov⁡(X,Y)≔E[(X−μX)(Y−μY)].\operatorname{Cov}(X, Y) \coloneqq E\bigl[(X - \mu_X)(Y - \mu_Y)\bigr].

XX と YY が同時に平均を超える傾向があるとき、積 (X−μX)(Y−μY)(X - \mu_X)(Y - \mu_Y) は典型的に正なので Cov⁡(X,Y)>0\operatorname{Cov}(X,Y) > 0 だ。一方が平均を超えるとき他方が平均を下回る傾向があるとき、積は典型的に負になる。Cov⁡(X,X)=E[(X−μX)2]=Var⁡(X)\operatorname{Cov}(X, X) = E[(X - \mu_X)^2] = \operatorname{Var}(X) なので、共分散は分散を一般化している。

計算公式

積を展開して期待値の線形性を適用すると、変数を中心化せずに済む公式が得られる：

Cov⁡(X,Y)=E[XY]−E[X] E[Y].(1)\operatorname{Cov}(X, Y) = E[XY] - E[X]\, E[Y]. \tag{1}

証明。

E[(X−μX)(Y−μY)]=E[XY]−μXE[Y]−μYE[X]+μXμY=E[XY]−μXμY.E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - \mu_X E[Y] - \mu_Y E[X] + \mu_X \mu_Y = E[XY] - \mu_X \mu_Y.

独立性の帰結。 XX と YY が独立ならば E[XY]=E[X]E[Y]E[XY] = E[X] E[Y] なので（独立性で証明）、公式 (1)(1) から Cov⁡(X,Y)=0\operatorname{Cov}(X, Y) = 0。逆は成り立たない——下の反例を参照。

双線形性と対称性

定理。 共分散は対称かつ各引数について線形（双線形）だ：

Cov⁡(X,Y)=Cov⁡(Y,X),(2)\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X), \tag{2} Cov⁡(aX+bZ, Y)=a Cov⁡(X,Y)+b Cov⁡(Z,Y)(a,b∈R).(3)\operatorname{Cov}(aX + bZ,\, Y) = a\, \operatorname{Cov}(X, Y) + b\, \operatorname{Cov}(Z, Y) \quad (a, b \in \mathbb{R}). \tag{3}

定数を加えても共分散は変化しない：Cov⁡(X+c,Y)=Cov⁡(X,Y)\operatorname{Cov}(X + c, Y) = \operatorname{Cov}(X, Y)（任意の c∈Rc \in \mathbb{R}）。

(3) の証明。 計算公式 (1)(1) を使う：

Cov⁡(aX+bZ,Y)=E[(aX+bZ)Y]−E[aX+bZ] E[Y]=a(E[XY]−E[X]E[Y])+b(E[ZY]−E[Z]E[Y]).\operatorname{Cov}(aX + bZ, Y) = E[(aX + bZ)Y] - E[aX + bZ]\,E[Y] = a\bigl(E[XY] - E[X]E[Y]\bigr) + b\bigl(E[ZY] - E[Z]E[Y]\bigr).

両引数についての双線形性は、共分散が 2 乗可積分確率変数の空間上の半正定値双線形形式であることを意味する：対称かつ Cov⁡(X,X)=Var⁡(X)≥0\operatorname{Cov}(X, X) = \operatorname{Var}(X) \geq 0。

和の分散

双線形性の最も直接的な応用が和の分散の等式だ：

Var⁡(X+Y)=Var⁡(X)+2Cov⁡(X,Y)+Var⁡(Y).(4)\operatorname{Var}(X + Y) = \operatorname{Var}(X) + 2\operatorname{Cov}(X, Y) + \operatorname{Var}(Y). \tag{4}

証明。 双線形性を使って Var⁡(X+Y)=Cov⁡(X+Y, X+Y)\operatorname{Var}(X + Y) = \operatorname{Cov}(X+Y,\, X+Y) を展開する：

Cov⁡(X+Y, X+Y)=Cov⁡(X,X)+2Cov⁡(X,Y)+Cov⁡(Y,Y)=Var⁡(X)+2Cov⁡(X,Y)+Var⁡(Y).\operatorname{Cov}(X+Y,\, X+Y) = \operatorname{Cov}(X,X) + 2\operatorname{Cov}(X,Y) + \operatorname{Cov}(Y,Y) = \operatorname{Var}(X) + 2\operatorname{Cov}(X,Y) + \operatorname{Var}(Y).

より一般に S=X1+⋯+XnS = X_1 + \cdots + X_n のとき：

Var⁡(S)=∑i=1nVar⁡(Xi)+2∑1≤i<j≤nCov⁡(Xi,Xj).(5)\operatorname{Var}(S) = \sum_{i=1}^n \operatorname{Var}(X_i) + 2\sum_{1 \leq i < j \leq n} \operatorname{Cov}(X_i, X_j). \tag{5}

すべての対が無相関のとき（特に独立のとき）、非対角項は消えて分散は加法的になる。これは分散で証明なしに述べた結果だ。

ピアソン相関係数

共分散は XX と YY のスケールに依存する：XX を 22 倍すると Cov⁡(X,Y)\operatorname{Cov}(X,Y) も 22 倍になる。スケールに依存しない測度を得るには、両標準偏差で正規化する。ピアソン相関係数を次で定義する：

ρ(X,Y)≔Cov⁡(X,Y)σXσY,(6)\rho(X, Y) \coloneqq \frac{\operatorname{Cov}(X, Y)}{\sigma_X \sigma_Y}, \tag{6}

ここで σX=Var⁡(X)>0\sigma_X = \sqrt{\operatorname{Var}(X)} > 0、σY=Var⁡(Y)>0\sigma_Y = \sqrt{\operatorname{Var}(Y)} > 0。

定理（コーシー–シュワルツ）。 ρ(X,Y)∈[−1,1]\rho(X, Y) \in [-1, 1]。

証明。 X′=X−μXX' = X - \mu_X、Y′=Y−μYY' = Y - \mu_Y として、任意の t∈Rt \in \mathbb{R} に対し：

0≤Var⁡(tX′+Y′)=t2σX2+2tCov⁡(X,Y)+σY2.0 \leq \operatorname{Var}(tX' + Y') = t^2 \sigma_X^2 + 2t\operatorname{Cov}(X, Y) + \sigma_Y^2.

この tt の 2 次式がすべての tt で非負なので、判別式は非正でなければならない：

4Cov⁡(X,Y)2−4σX2σY2≤0,4\operatorname{Cov}(X, Y)^2 - 4\sigma_X^2 \sigma_Y^2 \leq 0,

これより ∣Cov⁡(X,Y)∣≤σXσY|\operatorname{Cov}(X,Y)| \leq \sigma_X \sigma_Y、すなわち ∣ρ(X,Y)∣≤1|\rho(X,Y)| \leq 1。

等号 ∣ρ∣=1|\rho| = 1 が成立するのは、ある tt について Var⁡(tX′+Y′)=0\operatorname{Var}(tX' + Y') = 0 となるとき、すなわち Y′=−tX′Y' = -tX' がほぼ確実に成立するとき——つまり Y=aX+bY = aX + b（a=−t≠0a = -t \neq 0）が成立するときに限る。ρ\rho の符号は aa の符号に一致する。

ピアソン係数は線形関連を測る：∣ρ∣|\rho| が 11 に近いほど YY が XX のほぼ線形な関数であることを意味し、ρ=0\rho = 0 は線形関連がないことを意味する（非線形依存は依然としてありうる）。

共分散ゼロは独立性を含意しない

独立性は共分散がゼロであることを含意するが、逆は成り立たない。

反例。 U∼Uniform⁡(−1,1)U \sim \operatorname{Uniform}(-1, 1) として V=U2V = U^2 と置く。UU は 00 周りに対称なので E[U]=0E[U] = 0 かつ E[U3]=0E[U^3] = 0。したがって：

Cov⁡(U,V)=E[U⋅U2]−E[U] E[U2]=E[U3]−0=0.\operatorname{Cov}(U, V) = E[U \cdot U^2] - E[U]\,E[U^2] = E[U^3] - 0 = 0.

しかし VV は UU から完全に決まるので、両変数は独立とはほど遠い。共分散がゼロは線形依存がないことだけを保証し、非線形依存は Cov⁡\operatorname{Cov} には見えない。

まとめ

  • Cov⁡(X,Y)≔E[(X−μX)(Y−μY)]=E[XY]−E[X] E[Y]\operatorname{Cov}(X, Y) \coloneqq E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - E[X]\,E[Y]。
  • 対称性と双線形性：共分散は対称半正定値双線形形式；Cov⁡(X,X)=Var⁡(X)\operatorname{Cov}(X,X) = \operatorname{Var}(X)。
  • 和の分散：Var⁡(X+Y)=Var⁡(X)+2Cov⁡(X,Y)+Var⁡(Y)\operatorname{Var}(X + Y) = \operatorname{Var}(X) + 2\operatorname{Cov}(X,Y) + \operatorname{Var}(Y)；無相関のとき加法性が成立。
  • 独立性 ⇒\Rightarrow Cov⁡(X,Y)=0\operatorname{Cov}(X,Y) = 0；逆は成立しない——共分散ゼロは線形依存のなさしか保証しない。
  • ピアソン相関：ρ(X,Y)=Cov⁡(X,Y)/(σXσY)∈[−1,1]\rho(X,Y) = \operatorname{Cov}(X,Y) / (\sigma_X \sigma_Y) \in [-1, 1]；∣ρ∣=1|\rho| = 1 は Y=aX+bY = aX + b がほぼ確実に成立するときに限る。