幾何分布

離散型確率変数が従う確率分布の例として幾何分布が知られている.

例として, 「Yes」か「No」のどちらかが確率的に起きるような事象を考えよう. この事象を繰り返し行い, はじめて「Yes」が得られるまでの「No」の回数を確率変数とみなしたとき, この確率変数は幾何分布に従うことが知られている.

以下では, 「Yes」を事象 \( A \) , 「No」を事象 \( \bar{A} \) とし, 一回の試行によって \( A, \bar{A} \) のどちらかが得られるものとする.

1回の試行で \( A \) が得られる確率を \( p \) , はじめて \( A \) がでるまでにでた \( \bar{A} \) の回数を確率変数 \( X \) としたとき, \( X=x \) となる確率 \( P(X=x) \) は次式によって与えられる. \[P(X=x) = p\qty( 1- p )^{x} \quad . \label{gP}\] ただし, 確率変数の値 \( x \) は非負の整数( \( x \in \mathbb{Z} , x\ge 0 \) )であるとした.

一般に, 離散型確率変数 \( X \) が式\eqref{gP}にしたがう確率分布のことを幾何分布という.

幾何分布の規格化

幾何分布を記号 \( f(x_{i}) \) で \[f(x_{i}) = P(X=x_{i}) = p \qty( 1- p )^{x_{i}} \notag\] と表したとき, 確率分布が満たすべき規格化条件の式 \[\sum_{i} f(x_{i}) = 1 \label{pnat2}\] を満たしていることを示しておこう. ここで \( \sum_{i} \) は取り得る \( x_{i} \) の値すべてについて和を取ることを意味している.

今の場合, 確率変数の値 \( x \) は \( x=0 \) から無限大まで考えられるので, \[\begin{aligned} \sum_{i} f(x_{i}) &= \sum_{i} p \qty( 1- p )^{x_{i}} \\ &= \sum_{x=0}^{\infty} p \qty( 1- p )^{x} \\ &= p\frac{1}{1 – \qty( 1-p )} \\ &= 1 \end{aligned}\] となり, 幾何分布は規格化条件の式\eqref{pnat2}を満たしていることがわかる.

幾何分布の期待値

幾何分布の期待値をもとめるにあたり, 次の無限等比級数について調べておこう. \[\sum_{x=0}^{\infty} \qty( 1-p )^{x} = \frac{1}{1 – \qty( 1-p )} = \frac{1}{p}\] この式において両辺を \( p \) の関数とみなして微分すると, \[\begin{align} \sum_{x=0}^{\infty} x \qty( 1-p )^{x-1} \qty( -1 ) &= – \frac{1}{p^2} \notag \\ \to \ \sum_{x=0}^{\infty} x \qty( 1-p )^{x-1} &= \frac{1}{p^2} \label{gd1} \\ \to \ \sum_{x=0}^{\infty} x \qty( 1-p )^{x} &= \frac{1-p}{p^2} \label{gd1f} \end{align}\] が成立する.

幾何分布の期待値 \( E(X) \) を求める準備が出来たので, 定義 \[E(X) = \sum_{i} x_{i} f(x_{i})\] にしたがって, 途中で式\eqref{gd1f}を用いながら幾何分布の期待値を計算する. \[\begin{aligned} E(X) &= \sum_{x=0}^{\infty} x \, p \qty( 1-p )^{x} \\ &= p \sum_{x=0}^{\infty} x \qty( 1-p )^{x} \\ &\underbrace{=}_{\text{式\eqref{gd1f}}} p \cdot \frac{1-p}{p^2} \\ \therefore \ E(X) &= \frac{1-p}{p} \quad . \end{aligned}\] したがって, 確率 \( p \) の幾何分布の期待値は \( \displaystyle{\frac{1-p}{p}} \) であることがわかった.

別解：愚直な方法

期待値の定義より, \[\begin{aligned} E(X) &= \sum_{x=0}^{\infty} x P(x) \\ &= \sum_{x=1}^{\infty} x p\qty( 1-p )^{x} \\ &= 1 \cdot p \qty( 1-p )^{1} + 2 \cdot p \qty( 1-p )^{2} + 3 \cdot p \qty( 1-p )^{3} + \cdots \end{aligned}\] また, \[(1-p)E(X) = 1 \cdot p \qty( 1-p )^{2} + 2 \cdot p \qty( 1-p )^{3} + 3 \cdot p \qty( 1-p )^{4} + \cdots \notag \] より, \[\begin{aligned} & E(X) – \qty( 1 – p )E(X) = p E(X) \\ & \phantom{=} = p \qty( 1-p )^{1} + p \qty( 1-p )^{2} + p \qty( 1-p )^{3} + \cdots \\ & \phantom{=} = p \qty( 1-p ) \sum_{x=0}^{\infty}\qty( 1-p )^{x} \\ & \phantom{=} = p \qty( 1-p ) \frac{1}{1 – \qty( 1-p )} \\ & \phantom{=} = \qty( 1-p ) \end{aligned}\] \[\therefore \ E(X) = \frac{1-p}{p} \notag \]

期待値の分散, 標準偏差

幾何分布の分散を求めるにあたり, 式\eqref{gd1} \[ \sum_{x=0}^{\infty} x \qty( 1-p )^{x-1} = \frac{1}{p^2}\notag\] の両辺をさらにもう一度 \( p \) について微分すると, \[\begin{align} & \sum_{x=0}^{\infty} x \qty( x-1 )\qty( 1-p )^{x-2} \qty( -1 ) = – \frac{2}{p^3} \notag \\ \to \ & \sum_{x=0}^{\infty} x \qty( x-1 )\qty( 1-p )^{x-2} = \frac{2}{p^3} \notag \\ \to \ &\sum_{x=0}^{\infty} x \qty( x-1 )\qty( 1-p )^{x} = \frac{2(1-p)^2}{p^3} \label{gd2} \end{align}\] が成立することがわかる.

また, 分散の定義式から期待値の線形性を用いて式変形を行なっておく. \[\begin{aligned} V\qty( X ) &= E\qty( X^2 ) – \qty( E\qty( X ) )^2 \\ &= E\qty( X(X-1) + X ) – \qty( E\qty( X ) )^2 \\ &= E\qty( X(X-1) ) + E\qty( X ) – \qty( E\qty( X ) )^2 \end{aligned}\] ここで, \( E(X(X-1)) \) について, 式\eqref{gd2}を用いながら式変形を行うと, \[\begin{aligned} E(X(X-1)) &= \sum_{x=0}^{\infty} x(x-1) \, p \qty( 1-p )^{x} \\ &= p \sum_{x=0}^{\infty} x(x-1) \qty( 1-p )^{x} \\ &\underbrace{=}_{\text{式\eqref{gd2}}} p \cdot \frac{2(1-p)^2}{p^3} \\ &= \frac{2(1-p)^2}{p^2} \end{aligned}\] より, \[\begin{aligned} V(X) &= E\qty( X(X-1) ) + E\qty( X ) – \qty( E\qty( X ) )^2 \\ &= \frac{2(1-p)^2}{p^2} + \frac{1-p}{p} – \qty( \frac{1-p}{p} )^2 \end{aligned}\] \[\therefore \ V(X)= \frac{1-p}{p^2}\] となることわかる.

別解：愚直な方法

\[\begin{aligned} E(X^2) &= \sum_{x=0}^{\infty} x^{2} P(x) \\ &= \sum_{x=1}^{\infty} x^{2} p\qty( 1-p )^{x} \\ &= 1^2 \cdot p \qty( 1-p )^{1} + 2^2 \cdot p \qty( 1-p )^{2} + 3^2 \cdot p \qty( 1-p )^{3} + \cdots \end{aligned}\] また, \[(1-p)E(X^2) = 1^2 \cdot p \qty( 1-p )^{2} + 2^2 \cdot p \qty( 1-p )^{3} + 3^2 \cdot p \qty( 1-p )^{4} + \cdots \notag \] より, \[\begin{aligned} & E(X^2) – \qty( 1 – p )E(X^2) = p E(X^2) \\ & \phantom{=} = \qty( 1^2-0^2 )p \qty( 1-p )^{1} + \qty( 2^2-1^2 ) p \qty( 1-p )^{2} + \qty( 3^2-2^2 ) p \qty( 1-p )^{3} + \cdots \\ & \phantom{=} = p \sum_{x=1}^{\infty} \qty( 2x-1 ) \qty( 1-p )^{x} \end{aligned}\] \[\therefore \ E(X^2) = \sum_{x=1}^{\infty} \qty( 2x-1 ) \qty( 1-p )^{x} \notag \] となる. したがって, \[\begin{aligned} E(X^2) & = \qty( 2\cdot 1 – 1 ) \qty( 1-p )^{1} +\qty( 2\cdot 2 – 1 ) \qty( 1-p )^{2} +\qty( 2\cdot 3 – 1 ) \qty( 1-p )^{3} + \cdots \\ (1-p) E(X^2) & = \qty( 2\cdot 1 – 1 ) \qty( 1-p )^{2} +\qty( 2\cdot 2 – 1 ) \qty( 1-p )^{3} +\qty( 2\cdot 3 – 1 ) \qty( 1-p )^{4} + \cdots \end{aligned}\] \[\begin{aligned} & E(X^2) – \qty( 1- p )E(X^2) = p E(X^2) \\ &\phantom{=} = 1\qty( 1-p )^{1} + 2\qty( 1-p )^{2} + 2\qty( 1-p )^{3} + \cdots \\ &\phantom{=} = \qty( 1-p )^{1} + 2\qty( 1-p )^{2} \sum_{x=0}^{\infty} \qty( 1-p )^{x} \\ &\phantom{=} = \qty( 1-p ) + 2 \frac{(1-p)^2}{1 – \qty( 1-p )} \\ &\phantom{=} = \frac{p^2-3p+2}{p} \end{aligned}\] \[\therefore \ E(X^2) = \frac{p^2-3p+2}{p^2} \notag \] であり, \[\begin{aligned} V(X) &= E(X^2) – \left\{E(X) \right\}^{2} \\ &= \frac{p^2-3p+2}{p^2} – \frac{(p-1)^2}{p^2} \\ \therefore \ V(X) &= \frac{1-p}{p^2} \end{aligned}\]

標準偏差 \( \sigma \) は分散の平方根で定義されるので, \[\sigma = \sqrt{V} = \sqrt{\frac{1-p}{p^2}}\] となる.

幾何分布の無記憶性

一般に, これまでに考えていたような, 次のような仮定をしくことができる試行をベルヌーイ試行という.

試行の結果として事象 \( A \) か \( \bar{A} \) のどちらかが生じ, その確率は試行の間変化しない.
それぞれの試行が独立であり, 他の試行に影響を与えない.

幾何分布とは, ベルヌーイ試行を繰り返してはじめて事象 \( A \) が生じるまでの間に得られた \( \bar{A} \) の回数を確率変数とした確率分布であると言える.

この幾何分布の持つ性質 , 無記憶性について議論する.

事象 \( A \) が生じる確率が \( p \) のベルヌーイ試行において, \( n \) 回連続で事象 \( \bar{A} \) が生じ, \( n+1 \) 回目ではじめて事象 \( A \) が生じる確率 \( P(X=n) \) は \[p\qty( 1-p )^{n} \label{Gpp}\] であった.

事象 \( \bar{A} \) が(少なくとも) \( n \) 回以上連続で生じる確率 \( P( X \ge n ) \) について, \[\begin{aligned} P(X \ge n) & = P(X=n) + P(X=n+1) +P(X=n+2) +\cdots \\ & = p\qty( 1-p )^{n} + p\qty( 1-p )^{n+1} + p\qty( 1-p )^{n+2} + \cdots \\ & = p\qty( 1-p )^{n} \left\{1 + \qty( 1-p )^{1} + \qty( 1-p )^{2} + \cdots \right. \\ & = p\qty( 1-p )^{n} \sum_{l=1}^{\infty} \qty( 1-p )^{l-1} \\ & = p\qty( 1-p )^{n} \frac{1}{1 – \qty( 1-p )} \\ & = \qty( 1-p )^{n} \end{aligned}\] \[P( X \ge n ) = \qty( 1-p )^{n} \quad . \label{Gpover} \] が得られる.

ここで, \( n \) 回連続で \( \bar{A} \) が生じたうえで, (最初から数えて) \( n+k \) 回連続で \( \bar{A} \) がでる確率を考えよう. ただし, \( k \) は \( 0 \) 以上の整数である. これは, \( P(X \ge n) \) という前提のもとで, \( P(X \ge n+k) \) が生じる条件付き確率にほかならない.

この条件付き確率 \( P\qty( X \ge n+k \mid X \ge n ) \) は \[\begin{aligned} & P\qty( X \ge n+k \mid X \ge n ) = \frac{P\qty( \qty( X \ge n+k ) \cap \qty( X \ge n ) ) }{P\qty( X \ge n ) } \\ &\phantom{=} = \frac{P\qty( X \ge n+k )}{P\qty( X \ge n ) } \\ &\phantom{=} \underbrace{=}_{\text{式\eqref{Gpover}}} \frac{\qty( 1-p )^{(n+k)} }{\qty( 1-p )^{n} } \\ &\phantom{=} = \qty( 1-p )^{k} \end{aligned}\] であり, 最右辺は \[P(X \ge k) = \qty( 1-p )^{k} \notag \] であるので, 最終的に \[P\qty( X \ge n+k \mid X \ge n ) = P\qty( X \ge k ) \label{memoryless} \] という等式が成立することになる.

右辺は最初から \( k \) 回連続で事象 \( \bar{A} \) が生じる確率, 左辺は \( n \) 回連続で事象 \( \bar{A} \) が生じたうえで, それからさらに \( k \) 回連続で事象 \( \bar{A} \) が生じる確率である.

これらが一致しているということは, 左辺で前提条件としていた \( n \) 回連続で事象 \( \bar{A} \) が生じたというそれまでの試行結果は, それ以降の確率になんの影響も与えていないことがわかる.

もっと砕けて言えば, ある事象が生じる確率はそれまでの結果に左右されないということを意味しており, この性質(式\eqref{memoryless})は無記憶性と呼ばれる.

無記憶性によれば, コイントスのゲームなどでしばしば耳にしたり, 口をついてでてしまう「裏が続いたから, もうまもなく表が出るだろう」という発言は, 残念ながら正しくなく, 次に出るのがどちらであるかはそれ以前の結果には影響を受けないことがわかる.

この逆, 無記憶性を持つ離散型分布は幾何分布であることも比較的容易に示すことができ, 幾何分布と(離散的な)無記憶性は必要十分の関係にある.

無記憶性を持つならば幾何分布となることの証明

無記憶性を持つならば幾何分布となることを示す.

いま, 無記憶性 \[P\qty( X \ge n+k \mid X \ge n ) = P\qty( X \ge k ) \label{memo2} \] から出発して, この式を満たす確率変数 \( X \) が幾何分布に従うことを示そう.

この条件式\eqref{memo2}を書き換えると, \[ \begin{aligned} & P\qty( X \ge n+k \mid X \ge n ) = P\qty( X \ge k ) \\ & \to \ \frac{P\qty( X \ge n+k )}{P\qty( X \ge n ) }= P\qty( X \ge k ) \\ & \to \ P\qty( X \ge n+k ) = P\qty( X \ge k ) P\qty( X \ge n ) \end{aligned}\] となる. ここで, \( n = k = 0 \) とすると, \[ \begin{aligned} & P\qty( X \ge 0+0 ) = P\qty( X \ge 0 ) P\qty( X \ge 0 ) \\ \therefore \ & P\qty( X \ge 0 ) = 1 \end{aligned} \] が成立している.

次に, \( k=1 \) とすると, \[ P\qty( X \ge n+1 ) = P\qty( X \ge 1 ) P\qty( X \ge n ) \] であり, \[ \begin{aligned} P\qty( X \ge 1 ) & = 1 – P\qty( X =0 ) \\ & \eqqcolon 1 – p \end{aligned} \] を代入して, 数列の漸化式と同じ要領で式変形を進めていけば, \[ \begin{aligned} & P\qty( X \ge n+1 ) = P\qty( X \ge n ) \left\{1 – p \right\} \\ & \phantom{=} = P\qty( X \ge n-1 ) \left\{1 – p \right\}^{2} \\ & \phantom{=} = \cdots \\ & \phantom{=} = \underbrace{P\qty( X \ge 0 )}_{=1} \left\{1 – p \right\}^{n+1} \end{aligned} \] となり, 次式が成立する. \[ \therefore \ P\qty( X \ge n ) = \left\{1 – p \right\}^{n} \quad . \]

以上の性質を利用して確率変数 \( X \) が \( r \) となる確率 \( P(r) \) は \[ \begin{aligned} P(X=r) &= P(X \ge r ) – P(X \ge r+1 ) \\ &= \left\{1 – p \right\}^{r} – \left\{1 – p \right\}^{r+1} \\ &= p \qty( 1 – p )^{r} \end{aligned}\] を満たすことが分かる. この \[ P(X=r) = p \qty( 1 – p )^{r} \notag \] は事象 \( A \) が生じる確率が \( p \) の幾何分布にほかならず, 無記憶性を持つ離散型確率変数は幾何分布となることが示された.

すでに幾何分布ならば無記憶性を満たすことは示しているので, 幾何分布と無記憶性は必要十分な関係にあることがわかる.

事象 \( A \) か \( \bar{A} \) のどちらかが得られるベルヌーイ試行を繰り返して, はじめて \( A \) が生じるまでに \( \bar{A} \) が連続で生じた回数を確率変数とした確率分布を幾何分布という. 事象 \( A \) の確率が \( p \) の幾何分布は次式で与えられる. \[ P(X=x) = p\qty( 1- p )^{x} \quad . \notag \] 幾何分布の期待値 \( E \) , 分散 \( V \) , 標準偏差 \( \sigma \) は次式で与えれる. \[ \begin{aligned} E & = \frac{1-p}{p} \\ V & = \frac{1-p}{p^2} \\ \sigma & = \sqrt{\frac{1-p}{p^2}} \\ \end{aligned} \]

幾何分布は無記憶性を持つ. \[ P\qty( X \ge n+k \mid X \ge n ) = P\qty( X \ge k ) \] また, 無記憶性を持つ離散型確率変数は幾何分布に限られる.