큰 수의 법칙, 중심극한정리, 안정성 — 합의 보편 법칙

Background 4/5. "많은 독립 요인의 합은 어떤 모양이 되는가"라는 하나의 질문에서 큰 수의 법칙(LLN), 중심극한정리(CLT), 그리고 안정 분포(stable distribution)가 차례로 나옵니다. 가우시안이 왜 어디에나 있는지, 그리고 가우시안이 유일한 답이 아닌 이유까지가 이 페이지의 범위입니다.

문제 설정

$X_1, X_2, \dots$ 를 독립이고 같은 분포를 따르는(i.i.d.) 확률 변수라 하고, 부분합을 $S_n = X_1 + \cdots + X_n$ 이라 합시다. $n$이 커질 때 $S_n$의 행동이 주제입니다.

큰 수의 법칙 (LLN)

평균 $\mu = \mathbb{E}[X_i]$ 가 존재하면 표본 평균은 참 평균으로 수렴합니다.

$$\frac{S_n}{n} \xrightarrow{\ \text{a.s.}\ } \mu \qquad (n \to \infty)$$

• 약한 LLN은 확률 수렴, 강한 LLN(Kolmogorov)은 거의 확실한 수렴입니다.
• 분산이 유한하면 Chebyshev 부등식으로 3줄 증명이 됩니다:

$$P\Big( \Big\lvert \frac{S_n}{n} - \mu \Big\rvert \ge \varepsilon \Big) \le \frac{\mathrm{Var}(X_1)}{n \varepsilon^2} \to 0$$

• 전제 조건을 주목: $\mathbb{E}[\lvert X_1 \rvert]$ 가 유한해야 합니다. 코시 분포는 이 조건을 위반하며, 실제로 코시 표본의 평균 $S_n / n$ 은 다시 코시 분포를 따릅니다 — $n$을 아무리 키워도 하나도 좋아지지 않습니다. "데이터를 더 모으면 평균이 안정된다"는 믿음은 분포 가정 위에 서 있습니다.

중심극한정리 (CLT)

LLN은 $S_n/n$ 이 상수로 붕괴한다고 말할 뿐, 그 주변의 요동은 말하지 않습니다. 요동을 확대해서 보는 것이 CLT입니다.

$$\frac{S_n - n\mu}{\sigma\sqrt{n}} \xrightarrow{\ d\ } \mathcal{N}(0, 1) \qquad (\sigma^2 = \mathrm{Var}(X_1) \lt \infty)$$

원래 분포 $X_i$가 무엇이든 — 동전 던지기든, 균등분포든, 왜곡된 이산분포든 — 표준화된 합은 같은 극한으로 갑니다. 이 보편성(universality)이 가우시안이 자연과 공학 어디에나 나타나는 이유입니다.

증명 스케치 (특성함수)

특성함수를 쓰면 증명의 뼈대가 몇 줄입니다. $Y_i = (X_i - \mu)/\sigma$ 로 표준화하면 $\mathbb{E}[Y_i] = 0$, $\mathbb{E}[Y_i^2] = 1$ 이므로 원점 근방에서

$$\varphi_Y(t) = 1 - \frac{t^2}{2} + o(t^2)$$

독립 합의 특성함수는 곱이므로:

$$\varphi_{S_n^*}(t) = \Big[ \varphi_Y\Big(\frac{t}{\sqrt{n}}\Big) \Big]^n = \Big[ 1 - \frac{t^2}{2n} + o\Big(\frac{1}{n}\Big) \Big]^n \longrightarrow e^{-t^2/2}$$

극한 $e^{-t^2/2}$ 는 표준정규분포의 특성함수이고, Lévy 연속성 정리가 분포 수렴을 보장합니다. 2차 모멘트의 존재가 테일러 전개 2차항을 가능하게 했다는 점이 급소입니다.

수렴 속도 — Berry–Esseen

3차 모멘트가 존재하면 수렴 속도는 $O(1/\sqrt{n})$ 입니다:

$$\sup_x \big\lvert F_n(x) - \Phi(x) \big\rvert \le \frac{C\,\mathbb{E}[\lvert Y_1 \rvert^3]}{\sqrt{n}}$$

실무 교훈: $n = 30$ 같은 마법의 숫자는 없습니다. 원래 분포가 많이 비대칭이거나 꼬리가 두꺼울수록 가우시안 근사가 느리게 좋아지고, 특히 꼬리 확률은 중심부보다 훨씬 늦게 수렴합니다.

안정성 (Stability) — CLT의 전제를 무너뜨리면

CLT의 조건 $\sigma^2 \lt \infty$ 가 깨지면 어떻게 될까요? 답을 위해 먼저 질문을 재구성합니다.

안정 분포의 정의

분포가 안정(stable) 하다는 것은, 독립 복제 $X_1, X_2$와 임의의 $a, b > 0$ 에 대해 적절한 $c > 0$, $d$가 존재하여

$$aX_1 + bX_2 \overset{d}{=} cX + d$$

가 성립한다는 뜻입니다. 즉 독립 합을 취해도(스케일·이동 조정 후) 분포의 모양이 변하지 않습니다. 가우시안이 대표적입니다:

$$\mathcal{N}(0,a^2) + \mathcal{N}(0,b^2) = \mathcal{N}(0, a^2+b^2)$$

왜 극한은 반드시 안정 분포인가

$\frac{S_n - b_n}{a_n}$ 이 어떤 분포 $Z$로 수렴한다고 합시다. $S_{2n}$ 은 크기 $n$짜리 독립 블록 두 개의 합이므로, 극한에서 $Z$는 자신의 독립 복제 두 개의 (정규화된) 합과 같은 분포여야 합니다. 이 논리를 밀어붙이면:

정규화된 i.i.d. 합의 극한으로 나올 수 있는 분포는 안정 분포뿐이다.

가우시안은 이 패밀리에서 "분산 유한"이라는 특권적 조건이 골라준 한 점일 뿐입니다. 안정 분포 전체는 지수 $\alpha \in (0, 2]$ 로 매개되며, $\alpha = 2$ 가 가우시안입니다.

일반화 중심극한정리 (Generalized CLT)

$X_i$의 꼬리가 다항식으로 감소하면 — $P(\lvert X_1 \rvert > x) \sim C x^{-\alpha}$, $0 \lt \alpha \lt 2$ — 분산이 무한하므로 고전 CLT는 적용되지 않습니다. 대신 (Gnedenko–Kolmogorov):

$$\frac{S_n - b_n}{n^{1/\alpha} L(n)} \xrightarrow{\ d\ } \text{(지수 } \alpha \text{의 알파 안정 분포)}$$

• 스케일링이 $\sqrt{n} = n^{1/2}$ 가 아니라 $n^{1/\alpha}$ 입니다. 합이 훨씬 빨리 자랍니다 — 소수의 거대한 항이 합을 지배하기 때문입니다.
• 원 분포의 꼬리 지수 $\alpha$가 극한 분포를 결정합니다. 이를 "$\alpha$-안정 분포의 흡인 영역(domain of attraction)에 속한다"고 말합니다.
• 고전 CLT는 $\alpha = 2$ 인 특수 사례로 흡수됩니다.

직관: 합을 지배하는 것은 누구인가

분산이 유한하면 합 $S_n$에 대한 각 항의 기여가 골고루 퍼져 있고, 어느 한 항도 지배적이지 않습니다 — 결과는 매끈한 가우시안. 꼬리가 $x^{-\alpha}$ ($\alpha \lt 2$)로 두꺼우면 최댓값 하나가 합 전체와 같은 크기 규모를 가집니다 — 결과는 점프가 지배하는 알파 안정 분포. "평균적 요인의 축적"과 "극단값의 지배"라는 두 레짐의 경계가 $\alpha = 2$ 입니다.

이 페이지에서 기억할 것

1. LLN·CLT는 모멘트 존재라는 전제 위의 정리다. 전제가 깨지는 분포는 실존한다(코시).
2. CLT의 증명은 특성함수 3줄이다: 독립 합 = 특성함수의 곱, 2차 테일러 전개, $e^{-t^2/2}$.
3. i.i.d. 합의 극한이 될 수 있는 분포는 안정 분포가 전부이며, 가우시안은 $\alpha = 2$ 사례다.
4. 꼬리 지수 $\alpha \lt 2$ 인 데이터의 합은 $n^{1/\alpha}$ 로 스케일되고 알파 안정 분포로 수렴한다.

다음 단계

• 베이즈 추론과 켤레 사전분포 — 빈도주의적 극한 정리에서 베이즈적 갱신으로
• 가우시안 분포 — 오늘 증명한 보편성의 주인공
• 알파 안정 분포 — $\alpha \lt 2$ 세계의 전면 탐구