第4部：大数の法則と中心極限定理

学習目標

大数の法則と中心極限定理の直感的な理解ができる
各種の収束概念を理解し、区別できる
実践的な問題に応用できる

収束の直感的な理解

確率論における「収束」という概念は少し難しく感じるかもしれませんが、日常的な例を使って説明してみましょう。

基本的な「収束」とは？

まず「収束」とは、簡単に言うと「限りなく近づいていくこと」です。例えば、数列 1/2, 1/4, 1/8, 1/16... は0に収束します。どんどん小さくなっていき、限りなく0に近づいていきますね。

確率的な収束の3つのタイプ

確率変数（結果がランダムに決まる量）が関わると、収束にも種類が出てきます。主に3つの収束概念があります：

1. 確率収束（収束 in probability）

特徴：n→∞のとき、「高確率で」極限値に近づく

例えば、100人の生徒がコイン投げの実験をしているとしましょう。n回投げたときの表の出る割合を記録します。

n=10回：70人の生徒が「だいたい0.5±0.2」の範囲の結果
n=100回：90人の生徒が「だいたい0.5±0.1」の範囲の結果
n=1000回：99人の生徒が「だいたい0.5±0.05」の範囲の結果

このように、試行回数nが増えるにつれて、「多くの人の結果」が0.5に近づいています。しかし、いくつかの例外（外れ値）が常に存在する可能性があるのが特徴です。これが確率収束です。

数学的表現： すべての ε > 0 に対して、 P(|Xn - X| > ε) → 0 （n→∞のとき）

2. 概収束（ほぼ確実収束/ a.s.収束）

特徴：「個々のサンプルパスが」必ず極限値に収束する

今度は、1人の生徒が無限に長く続けるコイン投げ実験を考えましょう。

最初の数回はでこぼこしていた表の出る割合が
回数を重ねるごとに徐々に安定してきて
十分に長く続ければ必ず0.5に収束する

このように、個々の試行系列（サンプルパス）そのものが極限値に収束するのが概収束です。確率1（ほぼ確実）で、すべてのサンプルパスが収束します。

数学的表現： P(lim(n→∞) Xn = X) = 1

確率収束と概収束の重要な違い

見る視点
確率収束：多数の試行の「集団としての振る舞い」に注目
概収束：各「個別のサンプルパス」の振る舞いに注目
外れ値の扱い
確率収束：常に少数の外れ値が存在する可能性を許容
概収束：「測度0」と呼ばれるほぼ無視できる集合を除き、全てのパスが収束
時間の扱い
確率収束：各時点nで「その時点での分布」を見る（横断的視点）
概収束：時間の流れに沿って「個々のパスの行き先」を見る（縦断的視点）
収束の強さ
概収束 ⟹ 確率収束（概収束なら確率収束も成立）
確率収束 ⟹/ 概収束（確率収束からは概収束は言えない）

つまり、確率収束は「多くの場合で近づく」という弱い条件、概収束は「個別のケースが必ず近づく」という強い条件です。大数の法則は実は両方の意味で成立することが知られています（弱法則と強法則の違い）。

3. 分布収束（収束 in distribution）

日常例：クラスのテスト結果

クラスのテスト結果を考えてみましょう。個々の生徒の点数はランダムに上下しますが、クラス全体の点数分布は、回数を重ねるとある特定のパターンに落ち着くことがあります（例：平均70点、標準偏差10点の正規分布など）。

個々の生徒の点数は収束しませんが、「クラス全体の点数分布の形」は安定した形に近づいていきます。これが「分布収束」です。

3つの収束概念の強さの関係

これら3つの概念には強さの関係があります：

概収束 ⟹ 確率収束 ⟹ 分布収束

射的の例で言えば： - 「毎回の射撃がほぼ確実に的の中心に当たるようになる」（概収束）なら - 「的の中心から少しずれた範囲に高確率で当たるようになる」（確率収束）と言えます - さらに「射撃の分布のパターンが安定する」（分布収束）とも言えます

逆は成り立ちません。分布が安定しても、個々の結果は収束しているとは限らないのです。

図で見る違い

もしグラフで表すと： - 確率収束：多くの線（試行）が徐々に一点に近づく - 概収束：ほぼすべての線が必ず一点に収束する - 分布収束：線自体は収束せず、線の分布の形が安定する

このように、確率的な現象がどのように「収束」するかには複数の見方があり、それぞれ異なる数学的性質を持っています。高校で学ぶ極限よりも複雑ですが、日常の具体例で考えると少し理解しやすくなるかもしれませんね。

基本的な概念と定義

確率収束（確率収束）

確率変数列$\{X_n\}$が確率変数$X$に確率収束するとは、任意の$\epsilon > 0$に対して $$ \lim_{n \to \infty} \mathbb{P}(|X_n - X| \geq \epsilon) = 0 $$ が成り立つことをいう。記号では$X_n \xrightarrow{\mathbb{P}} X$と表す。

概収束（ほとんど確実な収束）

確率変数列$\{X_n\}$が確率変数$X$に概収束するとは $$ \mathbb{P}\left(\lim_{n \to \infty} X_n = X\right) = 1 $$ が成り立つことをいう。記号では$X_n \xrightarrow{\text{a.s.}} X$と表す。

分布収束（法則収束）

確率変数列$\{X_n\}$が確率変数$X$に分布収束するとは、$X$の分布関数$F$の連続点$x$で $$ \lim_{n \to \infty} F_{X_n}(x) = F(x) $$ が成り立つことをいう。記号では$X_n \xrightarrow{d} X$と表す。

収束概念の違いと関係

3種類の収束の特徴を整理すると以下のようになる。

収束の種類	記号	定義の要点	強さ
概収束	$X_n \xrightarrow{\text{a.s.}} X$	$\mathbb{P}(\lim X_n = X) = 1$	最も強い
確率収束	$X_n \xrightarrow{\mathbb{P}} X$	$\mathbb{P}(\\| X_n-X \\|\geq \epsilon)\to 0 \ (\epsilon > 0)$	概収束より弱い
分布収束	$X_n \xrightarrow{d} X$	分布関数の収束	最も弱い

概収束 $\Rightarrow$ 確率収束 $\Rightarrow$ 分布収束が成り立つが、逆は一般には成り立たない。例えば、コーシー分布に従う標本平均は分布収束はするものの確率収束しないことが知られている。

標本平均と標本分散

$X_1, X_2, \ldots, X_n$を標本とするとき： - 標本平均：$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$ - 標本分散：$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X}_n)^2$

信頼区間

母数$\theta$の$100(1-\alpha)\%$信頼区間とは、確率$1-\alpha$で$\theta$を含む区間$[L, U]$のこと。ここで： - $L$と$U$は標本の関数 - $\mathbb{P}(L \leq \theta \leq U) = 1-\alpha$

重要な分布とその性質

標準正規分布

確率密度関数：$\phi(x) = \frac{1}{\sqrt{2\pi}}e^{-x^2/2}$
分布関数：$\Phi(x) = \int_{-\infty}^x \phi(t)dt$
上側$\alpha$点：$z_\alpha$（$\Phi(z_\alpha) = 1-\alpha$）

t分布

自由度$k$のt分布の確率密度関数： $$ f(x) = \frac{\Gamma\left(\frac{k+1}{2}\right)}{\sqrt{k\pi}\Gamma\left(\frac{k}{2}\right)}\left(1+\frac{x^2}{k}\right)^{-\frac{k+1}{2}} $$
上側$\alpha$点：$t_\alpha(k)$

カイ二乗分布

自由度$k$のカイ二乗分布の確率密度関数： $$ f(x) = \frac{1}{2^{k/2}\Gamma(k/2)}x^{k/2-1}e^{-x/2} \quad (x > 0) $$
上側$\alpha$点：$\chi^2_\alpha(k)$

10. 大数の法則

10.1 直感的な理解

数学的な背景

大数の法則は、独立同一分布（IID）に従う確率変数の標本平均が、標本サイズが大きくなるにつれて母平均に収束することを示す定理です。これは、標本平均の分布の基礎となる重要な性質です。

\[ \overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow{\mathbb{P}} \mu \quad (n \to \infty) \]

ここで、$X_i$は独立同一分布に従う確率変数、$\mu$は母平均を表します。

具体例による導入

コイン投げの例
1回のコイン投げ：ベルヌーイ分布（p=0.5）
10回の平均：まだばらつきが大きい
100回の平均：0.5に近づく
1000回の平均：ほぼ0.5に収束
サイコロの例
1回のサイコロ投げ：一様分布（1-6）
10回の平均：まだばらつきが大きい
100回の平均：3.5に近づく
1000回の平均：ほぼ3.5に収束
実測値の例
1回の測定：誤差が大きい
10回の平均：誤差が減少
100回の平均：真値に近づく
1000回の平均：ほぼ真値に収束

10.2 数学的な定式化

弱大数の法則

\[ \lim_{n \to \infty} \mathbb{P}\left(\left|\frac{1}{n}\sum_{i=1}^n X_i - \mu\right| \geq \epsilon\right) = 0 \]

強大数の法則

\[ \mathbb{P}\left(\lim_{n \to \infty} \frac{1}{n}\sum_{i=1}^n X_i = \mu\right) = 1 \]

チェビシェフの不等式

\[ \mathbb{P}(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2} \]

10.3 応用例と注意点

よくある誤解

収束の速度に関する誤解
誤解：「標本サイズが大きければ必ず収束する」
正解：収束の速度は分布によって異なる
例：コーシー分布では大数の法則が成り立たない
独立性に関する誤解
誤解：「どんな確率変数でも大数の法則が成り立つ」
正解：独立性や同一分布性が必要
例：相関のある確率変数では成り立たないことがある
期待値の存在に関する誤解
誤解：「分散が無限大でも大数の法則が成り立つ」
正解：期待値が存在することが必要
例：コーシー分布では期待値が存在しない

10.4 大数の法則の応用計算例

例1：標本平均の期待値と分散

独立同一分布に従う確率変数$X_1, X_2, \ldots, X_n$について： $$ \mathbb{E}[\bar{X}_n] = \mu, \quad \mathbb{V}[\bar{X}_n] = \frac{\sigma^2}{n} $$

例2：チェビシェフの不等式の応用

$\epsilon = k\sigma$とおくと： $$ \mathbb{P}(|\bar{X}_n - \mu| \geq \epsilon) \leq \frac{\sigma^2}{n\epsilon^2} $$

11. 中心極限定理

11.1 直感的な理解

具体例による導入

コイン投げの例
1回のコイン投げ：ベルヌーイ分布
10回の和：二項分布（まだ離散的）
100回の和：正規分布に近い
1000回の和：ほぼ正規分布
サイコロの例
1回のサイコロ投げ：一様分布
10回の和：まだ一様分布の影響が残る
100回の和：正規分布に近い
1000回の和：ほぼ正規分布
実測値の例
1回の測定：誤差分布
10回の平均：まだ元の分布の影響が残る
100回の平均：正規分布に近い
1000回の平均：ほぼ正規分布

11.2 数学的な定式化

リンデベルグ・レヴィの中心極限定理

\[ \frac{\sqrt{n}(\overline{X}_n - \mu)}{\sigma} \xrightarrow{d} N(0,1) \]

ド・モアブル・ラプラスの定理

\[ \frac{X_n - np}{\sqrt{np(1-p)}} \xrightarrow{d} N(0,1) \]

ポアソン少数の定理

二項分布 $\operatorname{Bi}(n,p_n)$ において、$n \to \infty$ かつ $np_n \to \lambda$ （$\lambda$ は正の定数）のとき、

\[ \lim_{n \to \infty} \mathbb{P}(X_n = k) = \frac{\lambda^k}{k!}e^{-\lambda} \quad (k = 0,1,2,\ldots) \]

つまり、試行回数 $n$ が大きく、成功確率 $p$ が小さい場合で、$np \approx \lambda$ となるとき、二項分布はパラメータ $\lambda$ のポアソン分布で近似できます。

導出過程： 1. 二項分布の確率質量関数： $$ P(X = k) = \binom{n}{k}p^k(1-p)^{n-k} $$

$n \to \infty$, $p \to 0$, $np \to \lambda$ の極限を取る：
組み合わせの項： $$ \binom{n}{k} = \frac{n!}{k!(n-k)!} = \frac{n(n-1)\cdots(n-k+1)}{k!} $$ ここで、$n$が大きいとき： $$ \frac{n(n-1)\cdots(n-k+1)}{n^k} \to 1 $$ したがって： $$ \binom{n}{k} \approx \frac{n^k}{k!} $$
指数項： $$ (1-p)^{n-k} = \left(1-\frac{\lambda}{n}\right)^{n-k} = \left(1-\frac{\lambda}{n}\right)^n \left(1-\frac{\lambda}{n}\right)^{-k} $$ ここで： $$ \left(1-\frac{\lambda}{n}\right)^n \to e^{-\lambda}, \quad \left(1-\frac{\lambda}{n}\right)^{-k} \to 1 $$ したがって： $$ (1-p)^{n-k} \to e^{-\lambda} $$
確率項： $$ p^k = \left(\frac{\lambda}{n}\right)^k $$
これらを代入すると： $$ \lim_{n \to \infty} P(X = k) = \lim_{n \to \infty} \frac{n^k}{k!}\left(\frac{\lambda}{n}\right)^k e^{-\lambda} = \frac{\lambda^k}{k!}e^{-\lambda} $$ これはポアソン分布の確率質量関数に一致します。

この定理は、まれな事象（レアイベント）の発生回数を扱う場合に特に有用です。例えば： - 単位時間あたりの事故発生件数 - 一定面積あたりの突然変異の発生数 - 一定時間あたりの顧客の到着数

11.3 応用例と注意点

よくある誤解

収束の速度に関する誤解
誤解：「標本サイズが30以上なら必ず正規分布とみなせる」
正解：分布の形によって必要な標本サイズは異なる
例：歪んだ分布ではより大きな標本サイズが必要
独立性に関する誤解
誤解：「相関のある確率変数でも中心極限定理が成り立つ」
正解：独立性や弱い相関が必要
例：強い相関がある場合は成り立たないことがある
分散の存在に関する誤解
誤解：「分散が無限大でも中心極限定理が成り立つ」
正解：有限の分散が必要
例：コーシー分布では成り立たない

11.4 中心極限定理の応用計算例

例1：正規近似の計算

$X_1, X_2, \ldots, X_n$が独立同一分布に従うとき： $$ \mathbb{P}(\bar{X}_n \leq a) \approx \Phi\left(\frac{a - \mu}{\sigma/\sqrt{n}}\right) $$

例2：連続性補正

離散分布の場合は： $$ \mathbb{P}(a \leq S_n \leq b) \approx \Phi\left(\frac{b + 0.5 - np}{\sqrt{np(1-p)}}\right) - \Phi\left(\frac{a - 0.5 - np}{\sqrt{np(1-p)}}\right) $$

12. 標本分布と区間推定

12.1 標本分布の性質

標本平均の分布

正規分布$N(\mu, \sigma^2)$からの標本$X_1, X_2, \ldots, X_n$について： $$ \overline{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right) $$

標本分散の分布

\[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) \]

ここで、$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$は不偏標本分散です。

標本平均と標本分散の独立性

$\overline{X}$と$S^2$は独立です。

12.2 区間推定の基礎

信頼区間の考え方

母数$\theta$の信頼区間$[L, U]$は、確率$1-\alpha$で$\theta$を含む区間
信頼係数$1-\alpha$は、区間推定の信頼度を表す

分散既知の場合の平均の区間推定

正規分布$N(\mu, \sigma^2)$で$\sigma^2$が既知の場合： $$ \overline{X} \pm z_{\alpha/2} \frac{\sigma}{\sqrt{n}} $$

ここで、$z_{\alpha/2}$は標準正規分布の上側$\alpha/2$点です。

分散未知の場合の平均の区間推定

正規分布$N(\mu, \sigma^2)$で$\sigma^2$が未知の場合： $$ \overline{X} \pm t_{\alpha/2}(n-1) \frac{S}{\sqrt{n}} $$

ここで、$t_{\alpha/2}(n-1)$は自由度$n-1$のt分布の上側$\alpha/2$点です。

12.3 実践的な応用

標本サイズの決定

信頼区間の幅を$w$以下にするために必要な標本サイズ$n$： $$ n \geq \left(\frac{2z_{\alpha/2}\sigma}{w}\right)^2 $$

指数分布のパラメータ推定

指数分布$\text{Exp}(\lambda)$からの標本$X_1, X_2, \ldots, X_n$について： $$ \frac{2n\lambda}{\hat{\lambda}} \sim \chi^2(2n) $$

ここで、$\hat{\lambda} = \frac{1}{\overline{X}}$は最尤推定量です。

12.4 区間推定の計算例

例1：分散既知の場合の平均の区間推定

95%信頼区間： $$ \bar{X} \pm 1.96 \frac{\sigma}{\sqrt{n}} $$

例2：分散未知の場合の平均の区間推定

95%信頼区間： $$ \bar{X} \pm t_{0.025}(n-1) \frac{S}{\sqrt{n}} $$

例3：指数分布のパラメータ推定

$\lambda$の95%信頼区間： $$ \left[\frac{\chi^2_{0.025}(2n)}{2n\bar{X}}, \frac{\chi^2_{0.975}(2n)}{2n\bar{X}}\right] $$

12.5 標本サイズの決定

分散既知の場合

信頼区間の幅を$w$以下にするために必要な標本サイズ： $$ n \geq \left(\frac{2z_{\alpha/2}\sigma}{w}\right)^2 $$

具体例：品質管理における標本サイズ決定 製品の重量の標準偏差が5gであることがわかっている。95%信頼区間の幅を2g以下にしたい場合：

必要な標本サイズ： $$ n \geq \left(\frac{2 \times 1.96 \times 5}{2}\right)^2 = (9.8)^2 = 96.04 $$

よって、少なくとも97個の標本が必要。

分散未知の場合

予備調査で得られた標本分散$S^2$を用いて： $$ n \geq \left(\frac{2t_{\alpha/2}(n_0-1)S}{w}\right)^2 $$

具体例： 予備調査10個で標本標準偏差6gが得られた場合、95%信頼区間の幅を3g以下にするには： $$ n \geq \left(\frac{2 \times 2.262 \times 6}{3}\right)^2 = (9.048)^2 = 81.9 $$

よって、少なくとも82個の標本が必要。

実践的応用例とシミュレーション

大数の法則の数値確認

例：コイン投げシミュレーション 表の出る確率p=0.5のコイン投げで、試行回数による標本平均の収束を確認：

試行回数n	表の回数	標本平均	理論値からの偏差
10	6	0.60	0.10
100	47	0.47	-0.03
1,000	503	0.503	0.003
10,000	4,987	0.4987	-0.0013

このように、nが大きくなるにつれて標本平均が理論値0.5に収束していく。

中心極限定理の数値確認

例：一様分布の標本平均の分布 $U(0,1)$からの標本平均の分布の変化：

一様分布の期待値：$\mu = 0.5$、分散：$\sigma^2 = \frac{1}{12} \approx 0.083$

標本平均の理論的性質： - $\mathbb{E}[\bar{X}] = 0.5$ - $\mathbb{V}[\bar{X}] = \frac{\sigma^2}{n} = \frac{1}{12n}$

標本サイズn	標本平均の標準偏差	正規分布への近似度
1	0.289	一様分布のまま
5	0.129	やや正規分布的
30	0.053	ほぼ正規分布
100	0.029	完全に正規分布

実際のシミュレーション結果の解釈： - n=1：元の一様分布の形状を保持 - n=5：中央が高く、端が低い分布に変化 - n=30：ほぼ正規分布の形状 - n=100：標準正規分布とほぼ一致

収束の種類	記号	定義の要点	強さ
概収束	\(X_n \xrightarrow{\text{a.s.}} X\)	\(\mathbb{P}(\lim X_n = X) = 1\)	最も強い
確率収束	\(X_n \xrightarrow{\mathbb{P}} X\)	\(\mathbb{P}(\\| X_n-X \\|\geq \epsilon)\to 0 \ (\epsilon > 0)\)	概収束より弱い
分布収束	\(X_n \xrightarrow{d} X\)	分布関数の収束	最も弱い