확률 공간과 확률 변수 — 분포 이해의 출발점

Background 1/5. 이 시리즈의 모든 분포는 결국 "확률 공간 위에 정의된 확률 변수가 만드는 측도"입니다. 이 페이지에서 그 문장을 완전히 해석할 수 있게 만드는 것이 목표입니다.

왜 공리부터 시작하는가

"주사위를 던지면 각 눈이 나올 확률은 1/6"처럼 직관으로 시작하면 유한한 경우는 문제가 없습니다. 하지만 이 시리즈의 최종 목표인 알파 안정 분포처럼 평균조차 존재하지 않을 수 있는 대상을 다루려면, "확률이란 무엇인가"에 대한 엄밀한 토대가 필요합니다. 그 토대가 Kolmogorov의 공리 체계이고, 그 위에서 가우시안·Beta·알파 안정 분포는 모두 동일한 언어로 기술됩니다.

확률 공간 (Probability Space)

확률 공간은 세 요소의 묶음 $(\Omega, \mathcal{F}, P)$ 입니다.

1. 표본 공간 $\Omega$

일어날 수 있는 모든 결과(outcome)의 집합입니다.

• 동전 1회: $\Omega = \lbrace H, T \rbrace$
• 주사위 1회: $\Omega = \lbrace 1,2,3,4,5,6 \rbrace$
• 어떤 부품의 수명: $\Omega = [0, \infty)$ — 비가산 무한 집합도 가능합니다.

2. 사건 공간 $\mathcal{F}$ (시그마 대수)

"확률을 물어볼 수 있는 질문들"의 집합입니다. $\Omega$의 부분집합들 중에서 다음 세 조건을 만족하는 모임을 시그마 대수(σ-algebra)라고 부릅니다.

1. $\Omega \in \mathcal{F}$ — "무언가는 일어난다"는 항상 물어볼 수 있다.
2. $A \in \mathcal{F}$ 이면 $A^c \in \mathcal{F}$ — 어떤 사건을 물을 수 있으면 그 여집합도 물을 수 있다.
3. $A_1, A_2, \dots \in \mathcal{F}$ 이면 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$ — 가산 개의 합집합도 물을 수 있다.

왜 모든 부분집합을 쓰지 않는가

$\Omega$가 실수 구간처럼 비가산이면, 모든 부분집합에 일관된 확률(길이 개념)을 부여하는 것이 불가능하다는 사실이 알려져 있습니다(Vitali 집합, Banach–Tarski 역설). 그래서 "확률을 물어도 안전한 집합"만 골라 담은 것이 σ-algebra입니다. 실수 위에서는 열린구간들로 생성한 Borel σ-algebra $\mathcal{B}(\mathbb{R})$를 표준으로 사용합니다.

3. 확률 측도 $P$ — Kolmogorov 공리

$P: \mathcal{F} \to [0,1]$ 는 다음 세 공리를 만족하는 함수입니다.

1. 비음수성: 모든 $A \in \mathcal{F}$에 대해 $P(A) \ge 0$
2. 정규화: $P(\Omega) = 1$
3. 가산 가법성: 서로소인 $A_1, A_2, \dots$ 에 대해

$$P\Big(\bigcup_{i=1}^{\infty} A_i\Big) = \sum_{i=1}^{\infty} P(A_i)$$

이 세 줄이 전부입니다. 조건부 확률, 독립, 베이즈 정리, 대수의 법칙, 중심극한정리 — 이후의 모든 것은 이 공리의 논리적 귀결입니다.

확률 변수 (Random Variable)

확률 변수는 흔히 "랜덤한 값"으로 소개되지만, 정확한 정의는 함수입니다.

$$X : \Omega \to \mathbb{R}$$

단, 아무 함수나 되는 것은 아니고 가측(measurable) 이어야 합니다. 즉 모든 Borel 집합 $B \in \mathcal{B}(\mathbb{R})$ 에 대해 역상 $X^{-1}(B) = \lbrace \omega : X(\omega) \in B \rbrace$ 가 $\mathcal{F}$에 속해야 합니다. 이 조건이 있어야 "$X$가 $B$ 안에 들어갈 확률"이라는 질문이 애초에 성립합니다.

분포: 확률 변수가 유도하는 측도

확률 변수 $X$는 실수 위에 새로운 확률 측도를 만들어냅니다.

$$\mu_X(B) = P(X^{-1}(B)) = P(X \in B)$$

이 $\mu_X$를 $X$의 분포(distribution, push-forward measure) 라고 부릅니다. "가우시안 분포", "Beta 분포"라고 말할 때 가리키는 대상이 정확히 이것입니다. 원래 확률 공간 $\Omega$가 무엇이었는지는 잊고, 실수 위의 측도 $\mu_X$만으로 모든 계산이 가능해집니다.

분포를 기술하는 세 가지 방법

누적분포함수 CDF

$$F_X(x) = P(X \le x)$$

• 단조 비감소, 우연속(right-continuous)
• $\lim_{x \to -\infty} F_X(x) = 0$, $\lim_{x \to \infty} F_X(x) = 1$
• 모든 실수값 확률 변수가 CDF를 가집니다. 밀도함수가 없어도, 모멘트가 없어도 CDF는 항상 존재합니다. 알파 안정 분포처럼 밀도의 닫힌형이 없는 분포도 CDF로는 완전하게 정의됩니다.

확률질량함수 PMF (이산형)

$X$가 가산 개의 값만 가지면 $p_X(x) = P(X = x)$ 로 충분합니다. Bernoulli, 이항, 포아송이 여기에 속합니다.

확률밀도함수 PDF (연속형)

CDF가 절대연속이면 다음을 만족하는 밀도 $f_X$가 존재합니다.

$$F_X(x) = \int_{-\infty}^{x} f_X(t)\, dt, \qquad f_X(x) = \frac{dF_X}{dx}(x)$$

주의할 점:

• $f_X(x)$ 는 확률이 아닙니다. $f_X(x) > 1$ 도 가능합니다(예: Beta(5,5)의 중앙 부근). 확률은 항상 적분으로 얻습니다.
• 연속형에서는 임의의 한 점에 대해 $P(X = x) = 0$ 입니다.

분위수 함수 (Quantile Function)

CDF의 일반화 역함수 $F_X^{-1}(u) = \inf \lbrace x : F_X(x) \ge u \rbrace$ 입니다. $U \sim \mathrm{Uniform}(0,1)$ 일 때 $F_X^{-1}(U)$ 가 $X$와 같은 분포를 가진다는 사실(inverse transform sampling)은 난수 생성의 기본 원리입니다.

결합 분포, 독립, 조건부

여러 확률 변수 $X, Y$를 함께 다룰 때:

• 결합 CDF: $F_{X,Y}(x,y) = P(X \le x, Y \le y)$
• 독립: 모든 $x, y$에 대해 $F_{X,Y}(x,y) = F_X(x) F_Y(y)$. 밀도가 있으면 $f_{X,Y} = f_X f_Y$ 와 동치입니다.
• 조건부 밀도: $f_{X \mid Y}(x \mid y) = f_{X,Y}(x,y) / f_Y(y)$

독립성은 이 시리즈 전체의 핵심 가정입니다. 중심극한정리의 "독립 동일분포(i.i.d.)"가 바로 이 정의를 사용하고, 베이즈 추론의 우도 분해도 조건부 독립에서 나옵니다.

예제: 같은 분포, 다른 확률 공간

$\Omega = [0,1]$, $P$ = 길이 측도(Lebesgue), $X(\omega) = \omega$ 라 하면 $X \sim \mathrm{Uniform}(0,1)$ 입니다. 한편 $\Omega' = \lbrace H,T \rbrace^{\infty}$ (무한 동전 던지기)에서 $X'(\omega) = \sum_i \omega_i 2^{-i}$ 로 정의해도 똑같이 $\mathrm{Uniform}(0,1)$ 분포가 나옵니다. 확률 공간은 다르지만 분포는 같습니다. 분포 이론이 강력한 이유가 이것입니다 — 기저 공간의 세부사항을 추상화하고 실수 위의 측도만 남깁니다.

이 페이지에서 기억할 것

1. 확률은 $(\Omega, \mathcal{F}, P)$ 위의 공리 체계이고, 분포는 확률 변수가 실수 위로 밀어낸 측도 $\mu_X$다.
2. CDF는 항상 존재한다. PDF는 존재할 수도, 닫힌형이 없을 수도 있다(알파 안정 분포의 복선).
3. 밀도값은 확률이 아니다. 확률은 적분이다.
4. 분위수 함수와 균등분포로 임의의 분포를 샘플링할 수 있다.

다음 단계

• 기댓값, 모멘트, 특성함수 — 측도 $\mu_X$에서 숫자 요약을 뽑아내는 방법