我々はある試行を行なった結果, 値が定まるような量に興味がある. このようにして値が定まるような量のことを確率変数という.
確率変数はさらに, 対象となる確率変数が飛び飛びの値をとるものなのか, 連続的に変化するものなのかどうかで区別され, 前者を離散型確率変数, 後者を連続型確率変数と呼ぶ.
どちらの確率変数にも, 期待値や分散, 標準偏差という量を定義することができ, それらの定義・性質は大変似通ったものとなっている.
離散型確率変数
離散型確率変数の例として, サイコロの目を考えてみよう. どの面が出る確率も同様に確からしい6面サイコロをふれば, \( \displaystyle{\frac{1}{6} } \) の確率で, \( 1, 2, 3, 4, 5, 6 \) という値の中のどれかがでることになる. この問題において確率的に得られる値は \( X=\qty{1, 2, 3, 4, 5, 6 } \) という値の郡に限られ, その値は離散的なものとなっている.
サイコロの目 \( X \) |
\( 1 \) | \( 2 \) | \( 3 \) | \( 4 \) | \( 5 \) | \( 6 \) | 合計 |
|---|---|---|---|---|---|---|---|
確率 |
\( \displaystyle{\frac{1}{6} } \) | \( \displaystyle{\frac{1}{6} } \) | \( \displaystyle{\frac{1}{6} } \) | \( \displaystyle{\frac{1}{6} } \) | \( \displaystyle{\frac{1}{6} } \) | \( \displaystyle{\frac{1}{6} } \) | \( 1 \) |
一般に, 離散型確率変数 \( X \) が値 \( x_{i} \) となる確率を \( P(X=x_{i}) \) とし, \[ f(x_{i}) = P(X=x_{i}) \] で定まる(離散的な)関数 \( f(x) \) を確率分布または確率密度関数という.
確率変数 \( X \) が \( x_{i} \) となる確率が確率分布 \( f(x) \) で与えられることを, 確率変数 \( X \) は確率分布 \( f(x) \) に従うという.
確率変数 \( X \) が確率分布 \( f(x) \) に従う場合, 下のような対応表を得ることができる.
確率変数 \( X \) |
\( x_{1} \) | \( x_{2} \) | \( \cdots \) | \( x_{n} \) | 合計 |
|---|---|---|---|---|---|
確率 \( \) |
\( f(x_{1}) \) | \( f(x_{2}) \) | \( \cdots \) | \( f(x_{n}) \) | \( 1 \) |
離散型確率変数 \( X \) がとり得る値が \( x_{1}, x_{2}, \cdots , x_{n} \) であり, \( X \) の確率分布を \( f(x) \) とすると, \( f(x) \) は次のような性質を持っている. \[ \begin{align} & 0 \le f(x_{i}) \label{pd_nat1} \\ & \sum_{i=1}^{n} f(x_{i}) = 1 \label{pd_nat2} \\ \end{align} \]
離散型確率変数 \( X \) に対して期待値または平均値と呼ばれる量を次式で定義する. \[ E(X) \coloneqq \sum_{i=1}^{n} x_{i}\, f(x_{i}) \quad . \label{pd_mean} \] 期待値は \( \mu \) または \( \bar{X} \) と表記されることも多い.
離散型確率変数 \( X \) に対して分散は期待値 \( \mu \) を用いて次式で定義される. \[\begin{equation} \begin{aligned} V(X) \coloneqq & \sum_{i=1}^{n} \qty( x_{i} - \mu )^2 f(x_{i}) \\ =& E((X - \mu)^2) \quad . \end{aligned} \end{equation}\] この定義にしたがって次のように式変形することができる. \[\begin{aligned} V(X) &= \sum_{i=1}^{n} \qty( x_{i} - \mu )^2 f(x_{i}) \\ &= \sum_{i=1}^{n} \qty{ x^2_{i}\, f(x_{i}) -2\mu x_{i}\,f(x_{i}) + \mu^2 f(x_{i}) } \\ &= \sum_{i=1}^{n} (x^2_{i}) \, f(x_{i}) - 2\mu\sum_{i=1}^{n}x_{i}\,f(x_{i}) + \mu^2 \sum_{i=1}^{n}f(x_{i}) \end{aligned}\] ここで, 期待値の定義から右辺第1項については \[ \sum_{i=1}^{n} (x^2_{i}) \, f(x_{i}) = E(X^2) \notag \] が成立し, 右辺第2項に期待値の定義式\eqref{pd_mean}, 右辺第3項に確率分布が満たす式\eqref{pd_nat2}を適用すると, \[\begin{aligned} V(X) &= E(X^2) - 2\mu^2 + \mu^2 \\ &= E(X^2) - \mu^2 \end{aligned}\] \[ \therefore \ V(X) = E(X^2) - \qty{ E(X) }^2 \] したがって, 分散は確率変数 \( X^2 \) の期待値から確率変数 \( X \) の期待値の2乗を差し引くことで計算可能となっている.
さいごに, 離散型確率変数 \( X \) の標準偏差 \( \sigma \) は分散の平方根 \[ \sigma = \sqrt{V(X)}\] で定義される. 離散型確率変数 \( X \) の期待値について, \( a, b \) を定数として \[ \begin{aligned} E(aX+b) &= \sum_{i=1}^{n} \qty{ \qty( ax_{i}+b ) f(x_{i}) } \\ &= \sum_{i=1}^{n} ax_{i} \, f(x_{i}) + \sum_{i=1}^{n} b\, f(x_{i}) \\ &= aE(X) + b \end{aligned} \] が成立し, 期待値が線形性を持っていることをあらわしている. また分散 \( V(aX + b) \) を求める下準備として, \( E((aX + b)^2) \) を計算しておく. \[\begin{aligned} E((aX + b)^2) &= \sum_{i=1}^{n} \qty( ax_{i} + b )^2 f(x_{i}) \\ &= \sum_{i=1}^{n} \qty( a^2x^2_{i} + 2abx_{i} + b^2 ) f(x_{i}) \\ &= \sum_{i=1}^{n} a^2x^2_{i}\, f(x_{i}) + \sum_{i=1}^{n} 2abx_{i}\, f(x_{i}) + \sum_{i=1}^{n} b^2 f(x_{i}) \\ &= a^2E(X^2) + 2ab \mu + b^2 \end{aligned}\] これらを用いると, \[\begin{aligned} V(aX + b) &= E((aX+b)^2) - \qty{ E(aX+b) }^2 \\ &=a^2E(X^2) + 2abE(X) + b^2 - \qty{ aE(x)+b }^2 \\ &=a^2E(X^2) + 2abE(X) + b^2 - \qty{ a^2 \qty{ E(X) }^2+2abE(X) + b^2 } \\ &=a^2 \qty[ E(X^2) - \qty{ E(X) }^2 ] \\ &=a^2 V(X) \end{aligned}\] が成立する. これは期待値が線形性を持っていたのに対し, 分散は線形性を持っていないことをあらわしている.離散型確率変数の期待値, 分散, 標準偏差
離散型確率変数の期待値, 分散の性質
連続型確率変数
連続型確率変数の例として, ある集団の身長や睡眠時間などが挙げられるであろう. これらは離散的確率変数とは異なり, ある区間の任意の連続的な値をとり得る[1]. このような変数の群を連続型確率変数という.
連続型確率変数 \( X \) がある微小幅 \( x \sim x+\dd x \) の間に観測される確率は \( f(x)\dd x\) で与えられ, 確率変数が有限の幅を持つ区間 \( a < x < b \) に観測される確率 \( P(a<x<b) \) は \[P(a<x<b) = \int_{a}^{b}f(x)\dd x\] で与えられることになる.
ここで, \( f(x) \) は \( 0 \le f(x) \) であり, \( x \) の全領域( \( - \infty < x < \infty \) )中のどこかで観測される確率は \( 1 \) であることから, \( f(x) \) は次のような性質を満たす必要がある. \[ \begin{align} & 0 \le f(x) \label{pc_nat1} \\ & \int_{ - \infty}^{\infty} f(x) \dd x= 1 \label{pc_nat2} \end{align} \] この式\eqref{pc_nat2}は離散型確率変数において確率 \( f(x_{i}) \) が式\eqref{pd_nat2}を満たしていたことに対応しており, このような性質を持った関数 \( f(x) \) を確率密度関数という.
連続型確率変数の期待値, 分散, 標準偏差
連続型確率変数 \( X \) に対しても, 離散型確率変数と同様にして, 期待値または平均値と呼ばれる量を次式で定義する. \[ E(X) \coloneqq \int_{ - \infty}^{\infty} x\, f(x)\dd x\quad .\label{pc_mean} \] 期待値は \( \mu \) または \( \bar{X} \) と表記されることも多い.
連続型確率変数 \( X \) の分散 \( V \) は期待値 \( \mu \) を用いて次式で定義される. \[\begin{equation} \begin{aligned} V(X) \coloneqq & \int_{ - \infty}^{\infty} \qty( x - \mu )^2 f(x)\dd x\\ =& E((X - \mu)^2) \end{aligned} \end{equation}\] この定義にしたがって式変形を行うと, \[\begin{aligned} V(X) &= \int_{ - \infty}^{\infty} \qty( x - \mu )^2 f(x) \dd x \\ &= \int_{ - \infty}^{\infty} \qty{x^2\, f(x) -2\mu x\,f(x) + \mu^2 f(x) } \dd x \\ &= \int_{ - \infty}^{\infty} x^2 \,f(x) \dd x - 2\mu\int_{ - \infty}^{\infty}x\,f(x) \dd x + \mu^2 \int_{ - \infty}^{\infty}f(x) \dd x\end{aligned}\] ここで, 期待値の定義から右辺第1項については \[\begin{aligned} \int_{ - \infty}^{\infty} x^2\, f(x)\dd x= E(X^{2}) \end{aligned}\] が成立し, 右辺第2項に期待値の定義式\eqref{pc_mean}, 右辺第3項に確率密度関数が満たす式\eqref{pc_nat2}を適用すると, \[\begin{aligned} V(X) &= E(X^2) - 2\mu^2 + \mu^2 \\ &= E(X^2) - \mu^2 \end{aligned}\] \[\therefore \ V(X) = E(X^2) - \qty{ E(X) }^2\] したがって, 離散型確率変数の分散と同じく, 連続型確率変数の分散は確率変数 \( X^2 \) の期待値から確率変数 \( X \) の期待値の2乗を差し引くことで計算可能である.
さいごに, 連続型確率変数 \( X \) の標準偏差 \( \sigma \) は分散の平方根 \[ \sigma = \sqrt{V(X)}\] で定義される.
連続型確率変数の期待値, 分散の性質
連続型確率変数 \( X \) の期待値について, \( a, b \) を定数として \[\begin{aligned} E(aX+b) &= \int_{ - \infty}^{\infty} \qty{ \qty( ax + b ) f(x) } \dd x \\ &= a \int_{ - \infty}^{\infty} x\, f(x)\dd x+ b \int_{ - \infty}^{\infty} f(x)\dd x \\ &=aE(X)+b \end{aligned}\] が成立し, 期待値が線形性を持っていることをあらわしている.
また分散についても, 離散型確率分布と全く同じ式変形により \[V(aX + b) =a^2 V(X)\] が成立することは容易に示すことができる[2].
これは離散型確率変数で用いた \( \sum \) (シグマ)と連続型確率変数で用いた \( \int \) (インテグラル)とはどちらも和を意味しているだけの記号であり, それらが持つ線形性によって導かれるものである.
- 現実には, 測定という段階を通すことで, 測定器の精度よりも小さな変化は観測することは出来ないが, だからといって測定対象がとり得る値が離散的に変化しているとみなせるものではない.[↩]
- 証明を与えておく. \( E((aX + b)^2) \) は \[\begin{aligned} E((aX + b)^2) &= \int_{ - \infty}^{\infty} \qty( ax + b )^2 f(x) \\ &= \int_{ - \infty}^{\infty} \qty( a^2x^2 + 2abx + b^2 ) f(x) \\ &= \int_{ - \infty}^{\infty} a^2x^2\, f(x) + \int_{ - \infty}^{\infty} 2abx\, f(x) + \int_{ - \infty}^{\infty} b^2 f(x) \\ &= a^2E(X^2) + 2ab \mu + b^2 \end{aligned}\] であり, これらを用いると, 離散型確率分布と同じく \[\begin{aligned} V(aX + b) &= E((aX+b)^2) - \qty{ E(aX+b) }^2 \\ &=a^2E(X^2) + 2abE(X) + b^2 - \qty{ aE(x)+b }^2 \\ &=a^2E(X^2) + 2abE(X) + b^2 - \qty{ a^2 \qty{ E(X) }^2+2abE(X) + b^2 } \\ &=a^2 \qty[ E(X^2) - \qty{ E(X) }^2 ] \\ &=a^2 V(X) \end{aligned}\] が成立する.[↩]