母集団と標本において, 母集団の統計的な諸性質と, その母集団から抽出された標本がもつ統計的な諸性質は一致するとは限らないと述べた.
ここでは, その意味をつまびらかにするために, 不偏推定量という概念を持ちだして議論する.
この不偏推定量という考え方を学ぶことで, いわゆる \( n \) で割る分散と \( n-1 \) で割る分散の二つが定義されている所以を知ることができる.
まずは母集団と標本それぞれに対する期待値, 分散の定義を確認し, それらを結びつける不偏推定量の考え方を導入することにする.
母集団と標本に対する期待値, 分散
母集団に対する期待値, 分散
母集団が \( n \) 個の確率変数 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) からなるとき, 母平均 \( E(X)=\mu \) , 母分散 \( V(X)=\sigma^2 \) を次式で定義する. \[\begin{align} \mu &= E(X) \coloneqq \frac{1}{n} \sum_{i=1}^{n} X_{i} \label{mE} \\ \sigma^2 &= V(X) \coloneqq \frac{1}{n} \sum_{i=1}^{n} \qty( X_{i} – \mu )^2 \label{mV} \end{align}\]
標本に対する期待値, 分散
母集団から無作為抽出された標本が \( n \) 個の確率変数 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) からなるとき, この標本に対する標本平均 \( \bar{X} \) , 標本の分散 \( s^2 \) , 不偏分散 \( u^2 \) を次式で定義する.
\[ \begin{align} \bar{X} \coloneqq & \sum_{i=1}^{n}X_{i} \quad . \label{sE} \\ s^2 \coloneqq & \frac{1}{n}\sum_{i=1}^{n}\qty( X_{i} – \bar{X} )^{2} \label{sigma1} \\ u^2 \coloneqq & \frac{1}{n-1}\sum_{i=1}^{n}\qty( X_{i} – \bar{X} )^{2} = \frac{n}{n-1}s^2 \end{align} \]ここで, 標本について定義された式\eqref{sE}および式\eqref{sigma1}は, 形式的には母集団に対して定義された式\eqref{mE}および式\eqref{mV}と似通っているが, これらの量が一致するとは限らず, 互いにどんな関係にあるのかはまだ定かではない.
これらの定義量について次節以降で互いにどんな関係にあるかを明らかにしていこう.
不偏推定量
冒頭でも述べたように, 母集団の確率変数のある組み合わせで定義された量と, 標本に対して形式上同じ組み合わせで定義された量が一致するとは限らない.
そこで, 標本で定義されたある量が母集団のどんな量を推定したことになっているのかを知りたいがゆえに不偏推定量という考えを導入することにしよう.
標本の確率変数 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) を組み合わせ作られた新しい変数 \[Z= Z\qty( X_{1}, X_{2}, \cdots , X_{n} ) \notag \] について考えよう.
標本は母集団から無作為に抽出されており, 母集団から \( n \) 個を抽出するという作業をやりなおすたびに \( Z \) の値が異なることが予想される. そこで, \( Z \) の期待値に興味を向けよう.
\( Z \) の期待値 \( E(Z) \) と母集団の確率変数を組み合わせて作られた変数 \( Z^{\prime} \) が等しく, \[E(Z) = Z^{\prime} \notag \] が成立する時, \( Z \) は \( Z^{\prime} \) の不偏推定量であると言い, このような性質を持つ \( Z \) は不偏性を持つという.
このようにして, 標本の情報だけで定義された量が母集団のどんな量に対応しているのかを調べることができるのである.
標本平均の期待値と分散
期待値 \( \mu=E(X) \) , 分散 \( \sigma^2=V(X) \) の母集団から抽出された標本 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) について考える.
我々が興味が有るのは, 標本平均 \( \bar{X} \) や, 標本に対する分散 \( s^2 \) や \( u^2 \) が母集団のどんな量の不偏推定量となっているのかである.
そこで, まずは下準備として標本平均の期待値と分散を求めておくことにする.
以下では, 独立した確率変数 \( X, Y \) と期待値, 分散について成立する定理(同時分布の性質) \[\begin{align} E\qty( aX + bY ) &= a E\qty( X ) + b E\qty( Y ) \label{EV1} \\ V\qty( aX + bY ) &= a^2 V\qty( X ) + b^2 V\qty( Y ) \label{EV2} \end{align}\] を適宜利用することになる
標本平均の期待値 \( E\qty( \bar{X} ) \)
\[\begin{aligned} E\qty( \bar{X} ) &= E\qty( \frac{1}{n} \sum_{i=1}^{n} X_{i} ) \\ &= E\qty( \frac{1}{n} X_{1} + \frac{1}{n} X_{2} + \cdots \frac{1}{n} X_{n} ) \\ &\underbrace{=}_{\text{式\eqref{EV1}}} \frac{1}{n} E\qty( X_{1} ) + \frac{1}{n} E\qty( X_{2} ) + \cdots \frac{1}{n} E\qty( X_{n} ) \\ \end{aligned}\] ここで, \( X_{i} \) の選ばれ方は無作為であり, \[E\qty( X_{1} ) = \cdots = E\qty( X_{i} ) = \cdots = E\qty( X_{n} ) \notag \] が成立している. \( E\qty( X_{i} ) \) は母集団の期待値そのものであるので, \[E\qty( X_{i} ) = E\qty( X ) = \mu \quad \qty( i=1, 2, \cdots , n ) \quad . \notag \] この結果を適用すると, \[\begin{aligned} E\qty( \bar{X} ) &= \frac{1}{n} E\qty( X ) + \frac{1}{n} E\qty( X ) + \cdots + \frac{1}{n}E\qty( X ) \\ \therefore \ E\qty( \bar{X} ) &= E\qty( X ) = \mu \label{Ebarbar} \end{aligned}\] が成立していることがわかる.
標本平均の分散 \( V\qty( \bar{X} ) \)
\[\begin{aligned} V\qty( \bar{X} ) &= V\qty( \frac{1}{n} \sum_{i=1}^{n} X_{i} ) \\ &= V\qty( \frac{1}{n} X_{1} + \frac{1}{n} X_{2} + \cdots \frac{1}{n} X_{n} ) \\ &\underbrace{=}_{\text{式\eqref{EV2}}} \frac{1}{n^2} V\qty( X_{1} ) + \frac{1}{n^2} V\qty( X_{2} ) + \cdots \frac{1}{n^2} V\qty( X_{n} ) \\ \end{aligned}\] ここで, \( X_{i} \) の選ばれ方は無作為であり, \[V\qty( X_{1} ) = \cdots = V\qty( X_{i} ) = \cdots = V\qty( X_{n} ) \notag \] が成立している. \( V\qty( X_{i} ) \) は母集団の分散そのものであるので, \[V\qty( X_{i} ) = V\qty( X ) = \sigma^2 \quad \qty( i=1, 2, \cdots , n ) \quad . \notag \] この結果を適用すると, \[\begin{aligned} V\qty( \bar{X} ) &= \frac{1}{n^2}V\qty( X ) + \frac{1}{n^2}V\qty( X ) + \cdots + \frac{1}{n^2}V\qty( X ) \\ \therefore \ V\qty( \bar{X} ) &= \frac{1}{n}V\qty( X ) = \frac{1}{n}\sigma^2 \end{aligned}\] が成立していることがわかる.
不偏推定量としての標本平均
期待値 \( \mu \) , 分散 \( s^2 \) の母集団から抽出された標本 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) について, 標本平均が母集団のどんな量の不偏推定量となっているかを調べてみよう.
実はこれはすでに式\eqref{XvarE}で示されているとおり, \[ E\qty( \bar{X} ) = E\qty( X ) = \mu \notag \] が成立している.
したがって, 標本平均 \( \bar{X} \) は母平均 \( \mu \) の不偏推定量であると言うことができ, 標本平均 \( \bar{X} \) は母集団の期待値 \( \mu \) の推定量として妥当であることが確かめられた.
不偏推定量としての不偏分散
期待値 \( \mu \) , 分散 \( s^2 \) の母集団から抽出された標本 \( \left\{X_{i} \mid i=1 ,2, \cdots, n \right\} \) について, 標本の分散 \[s^2 = \frac{1}{n}\sum_{i=1}^{n}\qty( X_{i} – \bar{X} )^{2} \notag \] が母集団のどんな量の不偏推定量となっているかを調べてみよう. 標本に対するこの単純な定義が母分散 \( \sigma^2 \) と一致していれば話は楽なのであろうが, 実際には異なることが明らかとなる. \[\begin{aligned} E(s^2) &= E\qty( \frac{1}{n}\sum_{i=1}^{n}\qty( X_{i} – \bar{X} )^{2} ) \\ &= E\qty( \frac{1}{n}\sum_{i=1}^{n}\left\{\qty( X_{i} – \mu ) – \qty( \bar{X} – \mu ) \right\}^{2} ) \\ &= E\qty( \frac{1}{n}\sum_{i=1}^{n}\left\{\qty( X_{i} – \mu )^2 – 2 \qty( X_{i} – \mu ) \qty( \bar{X} – \mu ) + \qty( \bar{X} – \mu ) ^2 \right\} ) \\ &= E\qty( \frac{1}{n}\sum_{i=1}^{n} \qty( X_{i} – \mu )^2 ) – 2 E\qty( \frac{1}{n}\sum_{i=1}^{n}\qty( X_{i} – \mu ) \qty( \bar{X} – \mu ) ) + E\qty( \frac{1}{n}\sum_{i=1}^{n}\qty( \bar{X} – \mu )^2 ) \end{aligned}\] ここで, 細かな式変形を補足に回すことにし,
第1項について
\[\begin{aligned} & E\qty( \frac{1}{n}\sum_{i=1}^{n} \qty( X_{i} – \mu )^2 ) = \frac{1}{n} E\qty( \sum_{i=1}^{n} \qty( X_{i} – \mu )^2 ) \\ &\phantom{=} = \frac{1}{n} \sum_{i=1}^{n} E\qty( \qty( X_{i} – \mu )^2 ) \\ &\phantom{=} = \frac{1}{n} \qty[ E\qty( \qty( X_{1} – \mu )^2 ) + \cdots + E\qty( \qty( X_{n} – \mu )^2 ) ] \\ \end{aligned}\] であり, \[\begin{aligned} E\qty( \qty( X_{1} – \mu )^2 ) &= E\qty( \qty( X_{2} – \mu )^2 ) = \cdots = E\qty( \qty( X_{n} – \mu )^2 ) \\ E\qty( \qty( X_{i} – \mu )^2 ) &= E\qty( \qty( X – \mu )^2 ) \quad \qty( 1= 1, 2, \cdots , n ) \\ &= V(X) = \sigma^2 \end{aligned}\] が成立することから, \[\begin{aligned} & E\qty( \frac{1}{n}\sum_{i=1}^{n} \qty( X_{i} – \mu )^2 ) = \frac{1}{n} \qty[ E\qty( \qty( X – \mu )^2 ) + \cdots + E\qty( \qty( X – \mu )^2 ) ] \\ &\phantom{=} = \frac{1}{n} \left\{V(X) + \cdots + V(X) \right\} \\ &\phantom{=} = V(X) \end{aligned}\]
第2項について
\[\begin{aligned} & E\qty( \frac{1}{n}\sum_{i=1}^{n}\qty( X_{i} – \mu ) \qty( \bar{X} – \mu ) ) \\ &= E\qty( \frac{1}{n} \left\{\qty( X_{1} + \cdots + X_{n} ) – n \mu \right\} \qty( \bar{X} – \mu ) ) \\ &= E\qty( \frac{1}{n} \left\{n\bar{X} – n \mu \right\} \qty( \bar{X} – \mu ) ) \\ &= E\qty( \qty( \bar{X} – \mu ) \qty( \bar{X} – \mu ) ) \\ &= E\qty( \qty( \bar{X} – \mu )^2 ) \\ &= V\qty( \bar{X} ) \\ &\underbrace{=}_{\text{式\eqref{EV2}}} \frac{1}{n} V\qty( X ) = \frac{1}{n}\sigma^2 \end{aligned}\]
第3項について
\[\begin{aligned} & E\qty( \frac{1}{n}\sum_{i=1}^{n}\qty( \bar{X} – \mu )^2 ) \\ & \phantom{=} = \frac{1}{n} \sum_{i=1}^{n} E\qty( \qty( \bar{X} – \mu )^2 ) \\ & \phantom{=} = E\qty( \qty( \bar{X} – \mu )^2 ) \\ & \phantom{=} = V\qty( \bar{X} ) \\ &\underbrace{=}_{\text{式\eqref{EV2}}} \frac{1}{n} V\qty( X ) = \frac{1}{n}\sigma^2 \end{aligned}\]
計算をおし進めると, \[\begin{aligned} E(s^2) &= \sigma^2 – 2 \frac{1}{n}\sigma^2 + \frac{1}{n}\sigma^2 \\ &= \sigma^2 – \frac{1}{n}\sigma^2 \\ &= \frac{n-1}{n} \sigma^2 \end{aligned}\] が成立する.
したがって, 標本の分散 \( s^2 \) は母集団分散 \( \sigma^2 \) を \( \frac{n-1}{n} \) 倍したものの不偏推定量となっており, 標本の分散として \( s^2 \) を採用すると, 母集団の分散を小さく見積もってしまうことを意味している.
そこで登場するのが不偏分散 \( u^2 \) である. 不偏分散を \[u^2 \coloneqq \frac{n}{n-1} s^2 = \frac{1}{n-1}\sum_{i=1}^{n}\qty( X_{i} – \bar{X} )^{2} \notag \] と, 標本の分散 \( s^2 \) を補正した形で定義すると, \[\begin{aligned} E\qty( u^2 ) &= E\qty( \frac{n}{n-1}s^2 ) \\ &= \frac{n}{n-1} E\qty( s^2 ) \\ &= \frac{n}{n-1} \cdot \frac{n-1}{n} E(X) \\ &= E(X) \end{aligned}\] となることから, 不偏分散 \( u^2 \) は母集団分散 \( \sigma^2 \) の不偏推定量であると言うことができる.
このような違いが標本の分散 \( s^2 \) と不偏分散 \( u^2 \) との違いであり, \( s^2 \) と \( u^2 \) の違いは標本の数 \( n \) が小さい時には特に顕著となる. とくに, 標本の数 \( n \) が \( n=1 \) の場合, \( s^2 \) はゼロであり, \( u^2 \) は定義されない.
このことを物理量の測定と絡めて考えてみよう.
ある量を測定した測定値がただ1つしか手元にないとき, 分散として \( s^2 \) を採用してしまうと分散がゼロとなり, ただ１つの要素しか得られていないにも関わらず不確かさが存在しない, ということになってしまう.
一方, 分散として \( u^2 \) を採用すれば, 測定値が1つの場合には不確かさは定義されない, と妥当な結論を得るとこができる. しかも, 母分散 \( \sigma^2 \) の不偏推定量となっているのである.
ただし, \( n \) が十分に大きければ \( s^2 \) と \( u^2 \) の違いは小さいものへとなっていき, 有効数字の範囲内では違いがわからなくなるかもしれない.
高校数学ではこの辺りの事情を深入りしないで説明を行なっている. なので, 統計学を学びはじめて不偏分散という分散の定義に出会ったときに, \( n \) で割る分散と \( n-1 \) で割る分散のどちらが正しいのかという疑問へと導かれてしまうのである[1]もちろん, 調査している対象によっては, それを母集団とみなすのか, 標本とみなすのか, という議論は生じ得る..
実際のところは, \( n \) で割る分散(母集団の分散 \( \sigma^2 \) や標本の分散 \( s^2 \) )という定義と \( n-1 \) で割る分散(不偏分散 \( u^2 \) )という定義の両方が存在し, 母集団が対象ならば \( \sigma^2 \) を用いて, 標本が対象で標本の数 \( n \) が小さいならば \( u^2 \) を用いるべきで, \( n \) が大きいならば \( u^2 \) と \( s^2 \) の違いは僅かであるからどちらでも大きな違いが生じないということである.
脚注
| ⇡1 | もちろん, 調査している対象によっては, それを母集団とみなすのか, 標本とみなすのか, という議論は生じ得る. |
|---|