これから述べるいくつかの性質は, 離散型確率変数でも連続型確率変数でも同じ証明手順で示すことができるものである. その証明過程の違いは離散的な数のための和の記号 \( \sum \) を使うのか, 連続的な数のための和の記号 \( \int \) を使うのかといった違いだけである. したがって, 本文では連続型確率変数を用いた場合のみを証明し, 離散型確率変数についての証明は各自で行ってみてほしい.
本記事では, 次の記号を一貫して用いる.
量 | 確率変数 \( X \) | 確率変数 \( Y \) |
|---|---|---|
期待値 | \( \mu_{x} = E(X) \) | \( \mu_{y} = E(Y) \) |
分散 | \( V(X) \) | \( V(Y) \) |
確率密度関数 | \( f(x) \) | \( f(y) \) |
同時密度関数 | \( h(x, y) \) | |
2変数の同時分布の復習
連続型確率変数 \( X \) , \( Y \) について, \( X \) と \( Y \) がそれぞれある微小幅 \( x\sim x+\dd{x} \) , \( y\sim y+\dd{y} \) の間となることが同時に観測される確率 \( P(x<X<x+\dd{x}, y<Y<y+\dd{y}) \) を次のように書き表す. \[ P(x<X<x+\dd{x}, y<Y<y+\dd{y}) = h(x,y)\dd{x}\dd{y} \notag \] ここで新しく導入した関数 \( h(x,y) \) を \( X \) , \( Y \) の同時密度関数といい, 次の性質を満たす. \[ \begin{aligned} & 0 \le h(x, y) \label{connat1} \\ & \int_{ – \infty}^{\infty} \int_{ – \infty}^{\infty} h(x, y) = 1 \label{connat2} \end{aligned} \] 同時分布 \( h(x, y) \) から \( X \) , \( Y \) の確率密度関数 \( f(x) \) , \( g(y) \) を定めることができる. \[ \begin{align} f(x) &= \int_{ – \infty}^{\infty}h(x, y) \dd{y} \label{conmarx} \\ g(y) &= \int_{ – \infty}^{\infty}h(x, y) \dd{x} \label{conmary} \end{align} \]
同時分布の期待値, 分散
期待値
連続型確率変数 \( X \) , \( Y \) の関数 \( Z(X,Y) \) の期待値を次式で定義する. \[ E(Z) \coloneqq \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty}z(x,y) h(x,y)\dd{x}\dd{y} \quad . \]
分散
連続型確率変数 \( X \) , \( Y \) の関数 \( Z(X,Y) \) は \( Z \) の期待値 \( \mu_{z}=E(Z) \) を用いて次式で定義される. \[ \begin{aligned} V(Z) \coloneqq & E(\qty( Z – \mu_{z} )^2) \\ =& \int_{ – \infty}^{\infty} \int_{ – \infty}^{\infty} \qty( z – \mu_{z} )^2 h(x,y)\dd{x}\dd{y} \end{aligned} \]
分散 \( V(X) \) は \( X \) の期待値 \( \mu_{x}=E(X) \) を用いて次のように計算することができる. \[ V(X) = \int_{ – \infty}^{\infty} \int_{ – \infty}^{\infty} \qty( x – \mu_{x} )^2 h(x,y)\dd{x}\dd{y} \notag \] 式\eqref{conmarx}より, \[ f(x) = \int_{ – \infty}^{\infty} h(x,y) \dd{y}\notag \] が成り立つことに注意しつつ, \( Y \) に関する積分のみを実行すると, \[ \begin{aligned} V(X) &= \int_{ – \infty}^{\infty} \int_{ – \infty}^{\infty} \qty( x – \mu_{x} )^2 h(x,y)\dd{x}\dd{y} \\ &= \int_{ – \infty}^{\infty} \qty( x – \mu_{x} )^2 \left\{\int_{ – \infty}^{\infty} h(x,y)\dd{y} \right\} \dd{x} \\ &= \int_{ – \infty}^{\infty} \qty( x – \mu_{x} )^2 f(x)\dd{x} \end{aligned} \] となる. この式は確率変数が \( X \) のみの場合の分散の式と一致している.
上記の議論は \( Y \) の分散にも全く同様に成立する. したがって, 分散 \( V(X) \) , \( V(Y) \) は次のように表すことができる. \[ \begin{aligned} V(X) &= \int_{ – \infty}^{\infty}\qty( x – \mu_{x} )^{2} f(x) \dd{x} \\ &= E(X^2) – \left\{E( X )\right\}^2 \\ V(Y) &= \int_{ – \infty}^{\infty}\qty( y – \mu_{y} )^{2} g(y) \dd{y} \\ &= E(Y^2) – \left\{E( Y )\right\}^2 \end{aligned} \]
共分散と相関係数
2つの確率変数 \( X \) , \( Y \) について, \( X \) と \( Y \) の共分散 \( Cov(X,Y) \) を次式で定義する. \[ Cov(X,Y) \coloneqq E\left\{\qty( X – \mu_{x} )\qty( Y – \mu_{y} )\right\} \quad .\label{cov1} \] また, \( X \) と \( Y \) の相関係数 \( \rho(X,Y) \) を次式で定義する. \[ \rho(X,Y)\coloneqq \frac{Cov(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}} \quad . \notag \] 相関係数は確率変数 \( X \) と \( Y \) がどれだけ線形性を持っているのかを測るための指標となっており, \( -1 \) から \( 1 \) までの範囲の値をとる.
共分散の絶対値が \( 1 \) に違いほど2変数の線形関係が強く, 後に議論するように, 互いに独立な場合には共分散, 相関係数ともにゼロとなる.
2変数の和と積の期待値, 分散の性質
確率変数 \( X \) と \( Y \) の関数 \( Z(X, Y) \) の期待値を次式で定義する. \[ E(Z) \coloneqq \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty}z(x,y) h(x,y)\dd{x}\dd{y} \quad . \notag \] 分散 \( V(Z) \) を次式で定義する. \[ V(Z) = \int_{ – \infty}^{\infty} \qty( Z – \mu_{z} )^{2} h(x, y)\dd{x}\dd{y} \notag \] 共分散 \( Cov(X, Y) \) , 相関係数 \( \rho(X, Y) \) を次式で定義する. \[ \begin{aligned} Cov(X,Y) &\coloneqq E\left\{\qty( X – \mu_{x} )\qty( Y – \mu_{y} )\right\} \\ \rho(X,Y) &\coloneqq \frac{Cov(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}} \end{aligned} \] \( \rho(X, Y) \) は \( -1 \le \rho(X, Y) \le 1 \) であることを示すことができ, 絶対値が \( 1 \) に近いほど \( X \) と \( Y \) の間には相関があり, 互いに独立な場合はゼロとなる.同時分布の期待値と分散, 共分散の性質
\( X \) , \( Y \) を組み合わせたいくつかの簡単な \( Z(X, Y) \) に対して成立する性質について議論する.
\( Z = a X + b Y \) の場合
確率変数 \( X \) , \( Y \) と定数 \( a \) , \( b \) を組み合わせた量 \[ Z = a X + b Y \notag \] の期待値 \( E(Z) \) は次のように計算することができる. \[ \begin{aligned} E(Z) &= E(aX+bY) \\ &= \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty}(ax+by)h(x,y)\dd{x}\dd{y} \\ &= a \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty}x\, h(x,y)\dd{x}\dd{y} + b \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty}y\,h(x,y)\dd{x}\dd{y} \\ &=aE(X)+bE(Y) \end{aligned} \] \[ \therefore \ E(aX+bY) = aE(X) + bE(Y) \label{axbye} \] この性質は期待値が線形性を持っていることを示している.
変数 \( Z \) の期待値 \( E(Z) \) が \( \mu_{z}=a\mu_{x}+b\mu_{y} \) であるとき, \( Z \) の分散は共分散 \( Cov(X,Y) \) は次のように計算することができる. \[ \begin{aligned} V(Z) &= E\qty( (Z – \mu_{z})^2 ) \\ &= E(\left\{\qty( aX+bY ) – \qty( a\mu_{x}+b\mu_{y} )\right\}^2) \\ &= E(\left\{a\qty( X – \mu_{x} ) + b\qty( Y – \mu_{y} )\right\}^2) \\ &= E( a^2\qty( X – \mu_{x} )^2 + 2ab\qty( X – \mu_{x} )\qty( Y – \mu_{y} ) + b^2\qty( Y – \mu_{y} )^2) \\ &=a^2 E(\qty( X – \mu_{x} )^2) + 2ab E( \qty( X – \mu_{x} )\qty( Y – \mu_{y} )) + b^2E(\qty( Y – \mu_{y} )^2) \\ &= a^2V(X)+2ab\,Cov(X,Y)+b^2V(Y) \end{aligned} \] \[ \therefore \ V(aX+bY) = a^2V(X)+b^2V(Y)+2ab\,Cov(X,Y) \label{axbyv} \] この性質は分散が期待値と異なり線形性を持っていないことを示している.
共分散の性質
共分散の定義式\eqref{cov1} \[ Cov(X,Y) =E\left\{\qty( X – \mu_{x} )\qty( Y – \mu_{y} )\right\} \notag \notag \] に対して, 期待値の線形性(式\eqref{axbye})を適用すると, 次のように変形することが出来る. \[ \begin{aligned} Cov(X,Y) &=E(XY – \mu_{y}X – \mu_{x}Y + \mu_{x}\mu_{y} ) \\ &=E(XY) – \mu_{y}E(X) – \mu_{x}E(Y) + \mu_{x}\mu_{y} \end{aligned} \] \[ \therefore \ Cov(X, Y)=E(XY) – E(X)E(Y) \quad . \label{cov2} \]
\( Z = XY \) の場合
確率変数 \( X \) , \( Y \) を組み合わせた量 \[ Z = X Y \] の期待値 \( E(Z) \) は次のように計算することができる. \[ \begin{aligned} E(XY) &=E( \left\{\qty( X – \mu_{x} )+\mu_{x}\right\} \left\{\qty( Y – \mu_{y} )+\mu_{y}\right\}) \\ &=E( \qty( X – \mu_{x} )\qty( Y – \mu_{y} ) + \mu_{y}\qty( X – \mu_{x} ) + \mu_{x} \qty( Y – \mu_{y} )+\mu_{x}\mu_{y} ) \\ &=E( \qty( X – \mu_{x} )\qty( Y – \mu_{y} ) ) +\mu_{y} E(X – \mu_{x}) +\mu_{x} E(Y – \mu_{y}) +\mu_{x}\mu_{y} \end{aligned} \] ここで, \[ \begin{aligned} E( \qty( X – \mu_{x} )\qty( Y – \mu_{y} ) ) &= Cov(X, Y) \\ E(\qty( X – \mu_{x} )) &= 0 \\ E(\qty( Y – \mu_{y} )) &= 0 \end{aligned} \] を用いると, \[ E(XY) = Cov(X, Y) + E(X)E(Y) \label{xymean} \] が成立する. ただし, このことは式\eqref{cov2}の時点ですでに示されていたことを補足しておく.
\( Z \) の分散は \[ \begin{aligned} E(XY) &=Cov(X, Y) + E(X)E(Y) \\ E(X^2Y^2) &=Cov(X^2, Y^2) + E(X^2)E(Y^2) \end{aligned} \] 等を用いて次のように表現することができる. \[ \begin{aligned} V(XY) &= E(\qty( XY )^2) – \left\{E(XY)\right\}^2 \\ &= E(X^2Y^2) – \left\{E(XY)\right\}^2 \\ &= Cov(X^2, Y^2) + E(X^2)E(Y^2) – \left\{Cov(X, Y) + E(X)E(Y) \right\}^2 \quad . \end{aligned} \] \[ V(XY) = Cov(X^2, Y^2) + E(X^2)E(Y^2) – \left\{Cov(X, Y) + E(X)E(Y) \right\}^2 \label{Vxy} \] より計算を押し進めようとするのであれば, \[ \begin{aligned} E(X^2) &= V(X) + \left\{E(X) \right\}^2 \\ E(Y^2) &= V(Y) + \left\{E(Y) \right\}^2 \end{aligned} \] を用いることで, 次のように整理することができる. \[ V(XY) = V(X)V(Y) + V(X)\left\{E(Y) \right\}^2 + V(Y)\left\{E(X) \right\}^2 + Cov(X^2, Y^2) – \left\{Cov(X, Y) \right\}^2 – 2E(X)E(Y)\,Cov(X, Y) \notag \]
2変数が互いに独立な場合の性質
物理や統計学では二つの独立な確率変数 \( X \) , \( Y \) を取り扱う機会も非常に多く, この場合には幾つかの定理が簡略化される.
まず連続型確率変数 \( X \) , \( Y \) が独立であるとき, \( X \) , \( Y \) の密度関数 \( f(x) \) , \( g(y) \) と同時密度関数 \( h(x,y) \) について次式が成立する. \[ h(x,y) = f(x) g(y) \quad . \notag \] このとき, 同時密度関数の積分は \[ \begin{aligned} &\int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty} h(x,y) \dd{x} \dd{y} = \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty} f(x) g(y) \dd{x}\dd{y}\\ &= \left\{\int_{ – \infty}^{\infty} f(x) \dd{x}\right\} \left\{\int_{ – \infty}^{\infty} g(y) \dd{y}\right\} \end{aligned} \] のように, \( X \) に関する積分と \( Y \) に関する積分とを別離することができる. これを用いると, \( X \) と \( Y \) の共分散 \( Cov(X, Y) \) について, \[ \begin{aligned} Cov(E, Y) &= E( \qty( X – \mu_{x} ) \qty( Y – \mu_{y} ) ) \\ &= \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty} \qty( x – \mu_{x} ) \qty( y – \mu_{y} ) h(x,y) \dd{x} \dd{y} \\ &= \int_{ – \infty}^{\infty}\int_{ – \infty}^{\infty} \qty( x – \mu_{x} ) \qty( y – \mu_{y} ) f(x)g(y) \dd{x} \dd{y} \\ &= \left\{\int_{ – \infty}^{\infty} \qty( x – \mu_{x} ) f(x) \dd{x}\right\} \left\{\int_{ – \infty}^{\infty} \qty( y – \mu_{y} ) g(y) \dd{y}\right\} \\ &= E(X – \mu_{x})E(Y – \mu_{y}) \end{aligned} \] となる. ここで, \[ E(X – \mu_{x}) = E(Y – \mu_{y}) = 0 \notag \] を用いると, 最終的な結論として, 独立な確率変数 \( X \) と \( Y \) の共分散 \( Cov(X, Y) \) はゼロとなることがわかる. \[ Cov(E, Y) = 0 \quad . \notag \] また, 共分散 \( Cov(X,Y) \) がゼロであるので, 独立な確率変数 \( X \) と \( Y \) の相関係数 \( \rho(X, Y) \) もゼロとなる. \[ \rho(E, Y) = 0 \quad . \notag \] 独立な変数 \( X \) , \( Y \) について, \( Z=aX+bY \) の期待値(式\eqref{axbyv})は次式のように整理できる. \[ \begin{aligned} V(aX+bY) &= a^2V(X)+b^2V(Y)+2ab\,Cov(X,Y) \\ &= a^2V(X)+b^2V(Y) \end{aligned} \] 独立な変数 \( X \) , \( Y \) について, \( Z=XY \) の期待値(式\eqref{xymean})は次式のように整理できる. \[ \begin{aligned} E(XY) &= Cov(X, Y) + E(X) E(Y) \\ &= E(X) E(Y) \end{aligned} \] また, \( Z \) の分散について \[ \begin{aligned} V(XY) &= E((XY)^2) – \left\{E(XY)\right\}^2 \\ &= E(X^2)E(Y^2) – \left\{E(X)E(Y)\right\}^2 \\ &= \qty[ V(X) + \left\{E(X)\right\}^2 ] \qty[ V(Y) + \left\{E(Y)\right\}^2 ] – \left\{E(X)E(Y)\right\}^2 \\ &=V(X)V(Y)+V(X)\left\{E(Y)\right\}^2+V(Y)\left\{E(X)\right\}^2 \end{aligned} \] が成立する[1]または. 式\eqref{Vxy}に \[ \begin{aligned} Cov(X^2, Y^2) &= 0 \\ Cov(X, Y) &= 0 \end{aligned} \] を代入することで同じ式を導くことができる.. \( Z = a X + b Y \) の場合
\( Z = XY \) の場合
2変数の和と積の期待値, 分散の性質
確率変数 \( X \) と \( Y \) の線形和であらわされる変数 \( Z = aX + bY \) について, \[ E(aX+bY) = aE(X) + bE(Y) \notag \] \[ V(aX+bY) = a^2E(X) + b^2E(Y) + 2ab\,Cov(X,Y) \notag \] 特に, \( X \) と \( Y \) が独立な場合, \[ V(aX+bY) = a^2V(X) + b^2V(Y) \notag \] 確率変数 \( X \) と \( Y \) の積であらわされる変数 \( Z = XY \) について, \[ E(XY) = E(X)E(Y) + Cov(X,Y) \notag \] \[\begin{aligned} V(XY) &= Cov(X^2, Y^2) + E(X^2)E(Y^2) – \left\{Cov(X, Y) + E(X)E(Y) \right\}^2 \\ &= V(X)V(Y) + V(X)\left\{E(Y) \right\}^2 + V(Y)\left\{E(X) \right\}^2 + Cov(X^2, Y^2) – \left\{Cov(X, Y) \right\}^2 – 2E(X)E(Y)\,Cov(X, Y) \end{aligned} \] 特に, \( X \) と \( Y \) が独立な場合, \[ V(XY) = V(X)V(Y) + V(X)\left\{E(Y) \right\}^2 + V(Y)\left\{E(X) \right\}^2 \notag \]脚注
| ⇡1 | または. 式\eqref{Vxy}に \[ \begin{aligned} Cov(X^2, Y^2) &= 0 \\ Cov(X, Y) &= 0 \end{aligned} \] を代入することで同じ式を導くことができる. |
|---|