統計学で取り扱われる確率分布の中でも正規分布が特別な地位を占めていることを正規分布のページで述べた. その理由は, いまから取り扱う重要な定理 — 中心極限定理 — に由来している.
中心極限定理の内容を端的に述べると,実用上は数少ない例外を除いて, 任意の確率分布に従う母集団から抽出された標本の数が十分多い場合, 標本平均の分布は正規分布に従うという定理である.
ここで重要なのは, 母集団の分布は仮定していないにも関わらず, なんの前触れもなく正規分布が登場することである.
論より証拠というわけではないが, まずは具体例を二つほど示して, 中心極限定理がどんなことを主張しているのかを理解してもらい, そのうえで再度数学的な表現で中心極限定理を述べる.
物理学の誤差論においてもこの中心極限定理は中心的な役割を果たしているので, この定理の主張を幾つかの具体例を通して学んでくれればよい.
中心極限定理の具体例
母集団から \( n \) 個の標本 \( \left\{X_{i} \mid i=1, 2, \cdots ,n \right\} \) を無作為復元抽出したとき, その期待値 \( \bar{X} \) は次式で定義される. \[\bar{X} = \frac{1}{n} \sum_{i=1}^{n}X_{i} \quad . \notag\] ただし, ここでは \( \bar{X} \) が何個の標本の平均であるかを明示的に書き表すために, \[\bar{X}_{n} = \frac{1}{n} \sum_{i=1}^{n}X_{i} \quad . \notag\] と表記することにする. 例えば, \( \bar{X}_{2} \) とは母集団から抽出された \( 2 \) 個の標本の平均を, \( \bar{X}_{10} \) とは母集団から抽出された \( 10 \) 個の標本の平均をあらわしている.
\( \bar{X}_{n} \) を用いて中心極限定理の主張を再度述べると, 母集団の分布がどんな形であれ, 標本の数 \( n \) が十分に大きい場合の標本平均 \( \bar{X}_{n} \) の分布は正規分布へと近づいていくという定理だと言える.
したがって, \( \bar{X}_{n} \) を確率分布とみなし, \( \bar{X}_{n} \) を繰り返し作ってその値の群をヒストグラムとして表示してみよう. そうして \( n \) の値が大きくなっていくに連れて, ヒストグラムの形状が正規分布のような釣り鐘型へと変化していくことを次の具体例で示す.
具体例1
連続変数の確率密度関数が \[f(x)= \begin{cases} 2 x & (0 \le x , x \le 1) \\ 0 & (x < 0 , 1 < x ) \end{cases} \quad . \notag \] というような分布に従う確率変数について, この分布に従う無限個の要素を母集団とみなそう[1]ちなみに, この分布の期待値 \( E(X)=\mu \) , 分散 \( V(X)=\sigma^2 \) は \[\begin{aligned} \mu &= \int_{0}^{1} x \cdot 2x \dd{x} = \qty[ \frac{2}{3}x^3 ]_{0}^{1} = \frac{2}{3} \\ … Continue reading.
この分布自体は, 下図に示すとおり, 正規分布とは似ても似つかない分布である.
さて, このような確率分布に従う確率変数を計算機上で発生させる. \( n \) 個の数が発生した時点でその期待値 \( \bar{X}_{n} \) を計算してとっておき, また次の \( n \) 個の数を発生させてその \( \bar{X}_{n} \) を計算し, \( \cdots \) という操作を \( 100000 \) 回繰り返す.
このようにして得られる \( \bar{X}_{n} \) の値の群を相対度数分布として描いたのが下図であり, \( n=2, 3, 5, 10 \) の場合を描いた.
\( n=2 \) の場合は非対称性が顕著であるが, \( n \) の値が大きくなるに連れて左右の非対称性が小さくなっていくこと, 分布の形状が正規分布のようになっていくこと, 正規分布の幅が小さくなっていくことが見て取れる.
このように, 元の分布が正規分布とは無関係な形状であるにも関わらず, 標本平均 \( \bar{X}_{n} \) は \( n \) が大きくなるについれて, 幅の小さな正規分布の形状へと近づいていくことが中心極限定理の主張である.
具体例2
指数分布はパラメタ \( \lambda \) を用いて, \[f(x)= \begin{cases} \lambda \, e^{ – \lambda x} & (0 \le x ) \\ 0 & (x < 0) \end{cases} \quad . \notag \] と書くことができるのであった(指数分布).
また, 指数分布の期待値 \( \mu \) , 分散 \( \sigma^2 \) はそれぞれ \( \lambda^{-1} \) , \( \lambda^{-2} \) で与えられるのであった.
ここでは \( \lambda = \mu^{-1}=5 \) の指数分布 \[f(x)= \begin{cases} 5 \, e^{- 5 x} & (0 \le x ) \\ 0 & (x < 0) \end{cases} \quad . \notag \] に従う確率変数を母集団とみなして考えてみよう.
この分布は, 下図のように, 正規分布とは全く異なる形状である.
さて, 上記の指数分布に従う確率変数を計算機上で発生させて, \( n \) 個の数が発生した時点でその期待値 \( \bar{X}_{n} \) を計算して値をとっておくという操作を \( 100000 \) 回繰り返す.
\( n=2, 3, 5, 10 \) について, \( \bar{X}_{n} \) の相対度数分布を描いたのが下図である.
\( n \) が大きくなっていくに連れて標本平均 \( \bar{X}_{n} \) の分布が正規分布の形状へと近づいていっていることがわかる[2]余談だが, \( n \) が小さい時にはポアソン分布の形状に似たモノが得られている.. もっと言えば, \( n \) が大きくなるに連れて, 今回の指数分布の期待値 \( 0.2 \) 付近を中心とした正規分布となっていくこと, 分布の幅が小さくなっていくことが確認できるであろう.
このように, 元の分布が正規分布とは無関係な形状であるにも関わらず, 標本平均 \( \bar{X}_{n} \) は \( n \) が大きくなるについれて, 幅の小さな正規分布の形状へと近づいていくことが中心極限定理の主張である.
中心極限定理
これまでに見てきた中心極限定理の主張をもう少しきちんとした言葉で与えておこう.
中心極限定理とは, 期待値 \( \mu \) , 分散 \( \sigma^2 \) の任意の確率分布に従う母集団から \( n \) 個の要素を無作為復元抽出したときの標本平均 \( \bar{X}_{n} \) の分布は, \( n \) が十分大きい時には正規分布 \( N(\mu, \frac{\sigma^2}{n}) \) へ近づいていくという定理である.
これは具体例で見てきたように, \( n \) が大きくなるに連れて形状が正規分布のような釣鐘状になること, 分布の期待値が母集団の期待値と一致していくこと, 分布の幅が小さくなっていくことに対応している.
確率や統計を専門としない人でも, まずはこのようなイメージをきちんと持っておき, あとで紹介する例外を把握しておくことは重要であろう.
中心極限定理は標準正規分布とからめて次のようにも表現される. 期待値 \( \mu \) , 分散 \( \sigma^2 \) の任意の確率分布に従う母集団から \( n \) 個の要素を無作為復元抽出したときの標本平均 \( \bar{X}_{n} \) を確率変数とみなし, \( \bar{X}_{n} \) を標準化した量 \[Z = \frac{\bar{X}_{n} – \mu}{\frac{\sigma}{\sqrt{n}}} = \frac{\bar{X}_{n} – \mu}{\sigma}\sqrt{n} \label{cltz}\] の分布は \( n\to\infty \) のとき, \( N(0,1) \) の標準正規分布 \[f(z) = \frac{1}{\sqrt{2\pi}}\exp{\qty[ – \frac{z^2}{2} ]} \notag \] に従う.
ここで確率変数 \( \bar{X}_{n} \) の規格化で, 分母に \( \frac{\sigma}{\sqrt{n}} \) が登場する理由について補足しておく.
不偏推定量のページで証明したように, 期待値 \( \mu=E(X) \) , 分散 \( \sigma^2=V(X) \) の母集団から無作為抽出された標本 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) の標本平均の期待値 \( E(\bar{X}_{n}) \) , 分散 \( V\qty( \bar{X}_{n} ) \) に対しては次式が成立するのであった. \[\begin{align} E\qty( \bar{X}_{n} ) &= E\qty( X ) = \mu \label{XvarE} \\ V\qty( \bar{X}_{n} ) &= \frac{1}{n}V\qty( X ) = \frac{1}{n}\sigma^2 \label{XvarV} \end{align}\] また, 確率変数 \( X \) を標準化するときには, 期待値 \( E(X) \) と分散 \( V(X) \) を用いて, \[Z = \frac{X – E }{\sqrt{V}} \label{Znorm}\] とするのであった. 式\eqref{Znorm}に式\eqref{XvarE}, 式\eqref{XvarV}を適用したのが式\eqref{cltz}ということである.
この中心極限定理を物理学の測定という操作に対応させて考えてみよう.
中心極限定理の主張によると, 測定を多数回繰り返すにあたり, その測定の誤作要因がある確率分布に従っているとしても, 測定値の平均(標本平均)が測定の回数を増やしていくほど正規分布に近づくことに相当している.
この性質から誤差論の幾つかの重要な性質が導かれるのである.
中心極限定理の例外
この中心極限定理は実用上の多くの母集団分布について成立するが, 厳密には, 中心極限定理が成立するためにはいくつかの条件があることが知られている.
その詳細を全て語ることは差し控えるが, 物理で出会う分布のなかでもコーシー分布は中心極限定理に従わない確率分布の代表格である.
これは, コーシー分布が期待値や, 分散といった量を定義することが出来ず, 2次モーメントも発散していることに起因している. 実際, 母集団がコーシー分布に従うような場合, 上記の具体例で示したような操作で標本数 \( n \) を大きくしても, 標本平均の分布は正規分布へは近づかない.
一般の分布においても, 分散が発散してしまうような母関数から抽出した標本平均は中心極限定理には従わないことが知られている. さらに厳密に議論しようとすれば, リンデベルグの条件やリアプノフの条件という名前で知られる条件式が登場することになるが, このあたりの事情をより深く知りたければ, 下記の参考書籍などを適宜あたってほしい.
脚注
| ⇡1 | ちなみに, この分布の期待値 \( E(X)=\mu \) , 分散 \( V(X)=\sigma^2 \) は \[\begin{aligned} \mu &= \int_{0}^{1} x \cdot 2x \dd{x} = \qty[ \frac{2}{3}x^3 ]_{0}^{1} = \frac{2}{3} \\ \sigma^2 &= \int_{0}^{1}\qty( x – \mu )^2 \cdot 2x \dd{x} = \frac{1}{18} \end{aligned}\] である. |
|---|---|
| ⇡2 | 余談だが, \( n \) が小さい時にはポアソン分布の形状に似たモノが得られている. |