連続型確率変数が従う確率分布の代表例として正規分布またはガウス分布と呼ばれる確率密度関数が知られている.
正規分布は統計学の中でも特別の地位を占めている確率分布であり, それは中心極限定理と言われる定理と関係していることに由来している.
物理学では偶然誤差の性質の説明や測定データやモデルの記述でも大活躍する確率分布である.
したがって, 正規分布の性質を理解しておくことで誤差や測定結果の評価におけるいくつかの重要な結果・性質の理解を深めることができるのである.
正規分布に従うとされている幾つかの確率変数の例をあげていこう[1]実際には, これらの確率変数が正規分布に従っているかどうかは, 検定と呼ばれる統計学的な検証を得てはじめて分かることであるが, … Continue reading.
物理実験における偶然誤差の分布.
同年齢の身長の分布.
所得 \( Y \) の対数 \( X=\log_{e}{Y} \) を確率変数としたときの \( X \) の分布.(ジブラの法則)
\( \cdots \)
これら経験上, 正規分布に従うと知られているものに加えて, 二項分布やポアソン分布などもある条件のもとでは正規分布に近似的に従うことが知られている[2]ただし, 二項分布やポアソン分布が離散型確率変数であるのに対して, 正規分布は連続型確率変数という違いがある.(二項分布の近似としての正規分布)
期待値 \( \mu \) , 標準偏差 \( \sigma \) の正規分布の確率密度関数は次式で与えられ, 下図に示すように期待値 \( \mu \) について対称的な釣り鐘状の分布となる. \[f\qty( x ) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2 \sigma^2 } ]} \quad . \notag \] ここで, \( \exp \) は \[\exp{A} \coloneqq e^{A} \notag\] を表す記号である.
期待値 \( \mu \) , 標準偏差 \( \sigma \) の正規分布を記号 \( N\qty( \mu , \sigma^2 ) \) で表すことにする. とくに, \( N\qty( 0 , 1^2 ) \) の正規分布, すなわち, 次の確率密度関数のことを標準正規分布と呼ぶ. \[f\qty( x ) = \frac{1}{\sqrt{2 \pi }} \exp{\qty[ – \frac{x^2}{2 } ]} \quad . \notag \] 標準正規分布が重要な理由については後半で少し触れるが, 標準正規分布について語りきれない性質については別途ページを設けて行うことにする[3]準備中である..
見た目はコーシー分布と呼ばれる確率密度関数にも似ているが, 関数に指数関数が含まれていることで分布の
正規分布の規格化
正規分布の定義式 \[f\qty( x ) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2 \sigma^2 } ]} \label{Gauss2}\] が確率密度関数 \( f(x) \) が満たすべき性質 \[\int_{ – \infty}^{\infty}f(x)\dd{x}=1 \label{pnat}\] を満たしていることを確認しておこう. この条件式\eqref{pnat}を規格化条件という.
ただし, この計算においては正の定数 \( a \) を用いた次の積分公式を利用することにする. \[\int^{\infty}_{ – \infty} \exp{\qty[ -a x^2 ] }\dd{x}= \sqrt{\frac{\pi }{a} } \quad . \label{gint1}\] 正規分布の定義式\eqref{Gauss2}において, \[y =x – \mu , \quad \dv{y}{x} = 1 \notag \] という変数変換を行うと, \[\begin{aligned} & \int_{ – \infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2\sigma^2} ]}\dd{x}= \int_{ – \infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{y^2}{2\sigma^2} ]}\dd{y}\\ &\phantom{=} \underbrace{=}_{\text{式\ref{gint1}}} \frac{1}{\sqrt{2\pi\sigma^2}} \sqrt{2 \pi \sigma^2} \\ &\phantom{=} = 1 \end{aligned}\] より, 正規分布の定義式\eqref{Gauss2}は, 規格化条件の式\eqref{pnat}を満たしていることがわかる.
積分公式\eqref{gint1}の証明
\[\begin{aligned} \int^{\infty}_{ – \infty} \exp{\qty[ – a x^2 ]} \dd{x}\end{aligned}\] という積分について考える.
下準備として, 次のような \( x, y \) の2つの変数を含んだ積分を考えてみよう. \[\int^{\infty}_{ – \infty} \int^{\infty}_{ – \infty} \exp{\qty[ – a \qty( x^2 +y^2 ) ]} \dd{x}\dd{y}\notag \] ここで, 次のような変数変換を行うことで \( x, y \) という2変数を \( r, \theta \) という2変数に置き換える. \[\left\{\begin{aligned} x &= r \cos{\theta} \\ y &= r \sin{\theta} \end{aligned} \right.\] 積分範囲は \( x \) – \( y \) 平面全てを覆うような積分を実行することを意味し, \( r \) , \( \theta \) で記述した場合には, \( r \) を \( 0 \) から無限大まで, \( \theta \) は \( 0 \) から \( 2\pi \) とすることで \( x \) – \( y \) 平面全てを覆うことができる.
また \( r,\dd{\theta}\) を変数とした場合の微小面積をどのように表すかであるが, 下図のように非常に小さな扇形の一部を長方形とみなすことで, \( x \) , \( y \) で記述したときの微小面積 \( \dd{x}\dd{y} \) に相当する微小面積 \( \dd{S} \) は \[dS = r\dd{r}\dd{\theta}\notag \] で与えられる.
したがって, 微小要素 \( \dd{x}\dd{y} \) を \( \dd{x}\dd{y} = r\dd{r}\dd{\theta} \) として積分を実行すると, \[\begin{aligned} &\int^{\infty}_{ – \infty} \int^{\infty}_{ – \infty} \exp{\qty[ – a \qty( x^2 +y^2 ) ]} \dd{x}\dd{y} = \int^{\infty }_{0 } \int^{2\pi }_{0 } \exp{\qty[ – a r^2 ]} \, r \dd{r} \dd{\theta}\ & \phantom{=} = 2 \pi \int^{\infty }_{0 } \exp{\qty[ – a r^2 ]} \, r \dd{r} \\ & \phantom{=} = 2 \pi \frac{1 }{2 a } \qty[ \exp{\left[ – a r^2 ]} \right]^{\infty }_{0 } \\ & \phantom{=} = \frac{\pi }{a } \notag \end{aligned}\] となる.
以上より, 求めたい積分公式を求めることができる. \[\begin{aligned} & \int^{\infty}_{ – \infty} \int^{\infty}_{ – \infty} \dd{x} \dd{y}\, \exp{\qty[ – a \qty( x^2 +y^2 ) ]} = \left\{\int^{\infty}_{ – \infty} \exp{\qty[ – a x^2 ]} \dd{x}\right\} \left\{\int^{\infty}_{ – \infty} \exp{\qty[ – a y^2 ] } \dd{y}\right\} \\ & \phantom{=} = \left\{\int^{\infty}_{ – \infty} \exp{\qty[ – a x^2 ]} \dd{x}\right\}^{2} \\ & \phantom{=} = \frac{\pi }{a } \end{aligned}\] \[\therefore \ \int^{\infty}_{ – \infty} \exp{\qty[ – a x^2 ]} \dd{x}= \sqrt{\frac{\pi }{a} } \notag \]
正規分布の期待値
正規分布 \[f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2\sigma^2} ]} \notag\] の期待値 \( E(X) \) を期待値の定義式 \[\int_{ – \infty}^{\infty} x f(x)\dd{x}\notag \] により求めておく. \[\begin{aligned} E(X) &= \int_{ – \infty}^{\infty} x f(x)\dd{x}\\ &= \int_{ – \infty}^{\infty} x\, \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2\sigma^2} ]} \dd{x}\ &= \int_{ – \infty}^{\infty}\frac{\qty( y + \mu )}{\sqrt{2\pi\sigma^2}} \exp{\qty[ \frac{-y^2}{2\sigma^2} ] }\dd{y}\quad \qty( y = x – \mu ) \\ &= \int_{ – \infty}^{\infty}\underbrace{\frac{y}{\sqrt{2\pi\sigma^2}} \exp{\qty[ \frac{-y^2}{2\sigma^2} ] }}_{\text{(奇関数) \( \times \) (偶関数)}}\dd{y}+ \mu \underbrace{\int_{ – \infty}^{\infty}\frac{1 }{\sqrt{2\pi\sigma^2}} \exp{\qty[ \frac{-y^2}{2\sigma^2} ] }\dd{y}}_{=1} \\ &= \mu \quad . \end{aligned}\]
正規分布の分散
正規分布の分散 \( V(X) \) は期待値 \( \mu \) を用いて次式で定義される. \[\begin{aligned} V(X) \coloneqq & \int_{ – \infty}^{\infty} \qty( x – \mu )^2f(x)\dd{x}\\ =& \int_{ – \infty}^{\infty} \qty( x – \mu )^2 \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2\sigma^2} ] } \dd{x}\\ \end{aligned}\] ここで, 次の積分公式 \[\int_{ – \infty}^{\infty}x^2 \exp{\qty[ -ax^2 ] }\dd{x}= \frac{1}{2}\sqrt{\frac{\pi}{a^3}} \label{gint2}\] を用いると, \[\begin{aligned} V(X) &= \int_{ – \infty}^{\infty} \qty( x – \mu )^2 \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2\sigma^2} ]} \dd{x}\\ &= \int_{ – \infty}^{\infty} y^2 \, \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\qty[ – \frac{y^2}{2\sigma^2} ]} \dd{x}\quad \qty( y = x – \mu ) \\ &= \frac{1}{\sqrt{2\pi\sigma^2}} \cdot \frac{1}{2}\sqrt{\pi \qty( 2 \sigma^2 )^3} \\ &= \sigma^2 \end{aligned}\] となる.
むしろ, このような結論が得られるように初めから正規分布の定義を与えていたのであった.
積分公式\eqref{gint2}の証明
積分公式\eqref{gint1} \[\int^{\infty}_{ – \infty} \exp{\qty[ -a x^2 ]}\dd{x}= \sqrt{\frac{\pi }{a} } \label{gint1b}\] の両辺を \( a \) の関数とみなして \( a \) で微分することを考える.
式\eqref{gint1b}の左辺を \( a \) で微分すると, \[\begin{aligned} & \dv{a} \int^{\infty}_{ – \infty} \exp{\qty[ -a x^2 ]} \dd{x}= \int^{\infty}_{ – \infty} \dv{a} \exp{\qty[ -a x^2 ]} \dd{x}\\ & \phantom{=} = – \int^{\infty}_{ – \infty} x^2 \exp{\qty[ -a x^2 ]}\dd{x}\end{aligned}\] であり[4]微分と積分の順序を交換してもよいかどうかは気になる人もいるであろうが, そこまで気のまわる人は, … Continue reading, 式\eqref{gint1b}の右辺を \( a \) で微分すると, \[\dv{a}\sqrt{\frac{\pi}{a}} = – \frac{1}{2}\sqrt{\frac{\pi}{a^3}} \notag \] であるので, 次式が成立することになる. \[\int^{\infty}_{ – \infty} x^2 \exp{\qty[ -a x^2 ]}\dd{x}= \frac{1}{2}\sqrt{\frac{\pi}{a^3}} \notag\]
さいごに正規分布の \( \sigma \) について補足を加えておこう. 正規分布の1階導関数と2階導関数はそれぞれ \[\dv{x}f(x) = – \frac{\qty( x – \mu )}{\sigma^2 } f(x) \notag \] \[\begin{aligned} \dv[2]{}{x}f(x) &= – \dv{x} \left\{\frac{\qty( x – \mu )}{\sigma^2 } f(x) \right\} \\ &= – \frac{1}{\sigma^2 } f(x) + \frac{\qty( x – \mu )^2}{\sigma^4 } f(x) \end{aligned}\] である. 1階導関数に \( x = \mu \) を代入した値は, \[\left. \dv{f}{x} \right|_{x = \mu} = – \frac{\qty( \mu – \mu )}{\sigma^2 } f(\mu) = 0 \notag \] 2階導関数に \( x = \mu \) を代入した値は, \[\begin{aligned} \left. \dv[2]{f}{x} \right|_{x = \mu} &= – \frac{1}{\sigma^2 } f(\mu) + \frac{\qty( \mu – \mu )^2}{\sigma^4 } f(\mu) \\ &= – \frac{1}{\sigma^2 } f(\mu) < 0 \end{aligned}\] より, \( x=\mu \) で最大値(極大値)をとることがわかる.
また, \( x = \mu \pm \sigma \) を2階導関数の式に代入するとゼロになるので, 期待値 \( \mu \) から \( \pm\sigma \) の点は正規分布の変曲点にもなっている.
正規分布
期待値 \( \mu \) , 標準偏差 \( \sigma \) の正規分布を記号 \( N\qty( \mu , \sigma^2 ) \) で表し, その確率密度関数は次式で与えられる. \[f\qty( x ) = \frac{1}{\sqrt{2 \pi \sigma^2}} \exp{\qty[ – \frac{\qty( x – \mu )^2}{2 \sigma^2 } ]} \quad . \notag \] \( N\qty( 0 , 1^2 ) \) を標準正規分布と呼ぶ.確率変数の変換
確率変数 \( X \) が正規分布 \( N(\mu, \sigma^2) \) に従う確率変数としたとき, 定数 \( a \) , \( b \) を用いた新たな変数 \[Y= a X + b \notag \] も正規分布 \( N(a\mu+b, a^2\sigma^2) \) に従うことを示すことができる.
規格化定数を別にして, \[f(x) \propto \exp{\qty[ – \frac{\qty( x – \mu )^{2}}{2\sigma^2} ]} \notag \] を式変形していくと, \[\begin{aligned} f(x) & \propto \exp{\qty[ – \frac{\qty( x – \mu )^{2}}{2\sigma^2} ]} \\ & = \exp{\qty[ – \frac{\qty( ax-a\mu )^{2} }{2 a^{2} \sigma^2 } ]} \\ f(y) & \propto \exp{\qty[ – \frac{\qty( y-b -a\mu )^{2} }{2 a^{2} \sigma^2 } ]} \quad (\because \ y =ax+b) \\ & = \exp{\qty[ – \frac{\left\{y – \qty( a\mu +b ) \right\}^{2} }{2 \qty( a \sigma )^2 } ]} \end{aligned}\] となるので, 確率変数 \( Y \) は期待値が \( a\mu+b \) , 標準偏差が \( a\sigma \) (分散が \( a^2\sigma^2 \) )の正規分布 \( N(a\mu+b, a^2\sigma^2) \) に従うと言うことができる.
確率変数の変換
確率変数 \( X \) が正規分布 \( N(\mu, \sigma^2) \) にしたがうとき, 変数 \[ Y = aX + b \notag \] は正規分布 \( N(a\mu+b, a^2\sigma^2) \) に従う.標準正規分布
確率変数 \( X \) が期待値 \( \mu \) , 分散 \( \sigma^{2} \) の正規分布 \( N(\mu, \sigma^2) \) に従うとき, \[Z = \frac{X – \mu }{\sigma} \notag \] という変数は正規分布 \( N(0, 1^2) \) の標準正規分布 \[f(x) = \frac{1}{\sqrt{2\pi}}\exp{\qty[ – \frac{z^2}{2} ]} \notag \] に従う.
なぜこの標準積分布が重要かといえば, それは次のような流れである.
いま, 正規分布 \( N(\mu, \sigma^2) \) に従う確率変数 \( X \) が \( \qty( a, b ) \) の範囲内で観測される確率 \( P(a < X < b) \) は解析的に求めることは出来ないことが知られており, 計算機の数値計算で算出された値(数表)を参考にしながら確率を求めることになる.
しかし, \( N(\mu, \sigma^2) \) の \( \mu \) や \( \sigma \) はあらゆる値を取り得るが, その全てに対して計算機による数値計算を行った数表を手元に持っておくことは不可能である.
そこで, \( P(a < X < b ) \) が \[\begin{aligned} P(a < X < b ) &= P(a – \mu < X – \mu < b – \mu ) \\ &= P(\frac{a – \mu}{\sigma} < \frac{X – \mu}{\sigma} < \frac{b – \mu}{\sigma} ) \\ &= P(\frac{a – \mu}{\sigma} < Z < \frac{b – \mu}{\sigma} ) \\ &= P(a^{\prime} < Z < b^{\prime} ) \quad \qty( a^{\prime} = \frac{a – \mu}{\sigma} , b^{\prime} = \frac{b – \mu}{\sigma} ) \end{aligned}\] のように計算できることに注目すると, 確率変数 \( X \) が \( \qty( a, b ) \) の範囲内で観測される確率 \( P(a < X < b) \) は, 変数 \( Z \) が \( \qty( a^{\prime}, b^{\prime} ) \) の範囲内で観測される確率 \( P(a^{\prime} < X < b^{\prime}) \) と対応付けることができるのである.
したがって, 標準正規分布において, ある範囲内に確率変数の値が得られる確率を計算する術をもっておけば, 別の正規分布において, それに対応した確率が計算できていることになるのである.