베이즈 추론과 켤레 사전분포 — 분포가 학습되는 방식

Background 5/5. 지금까지는 분포를 "주어진 것"으로 다뤘습니다. 이 페이지에서는 데이터를 보고 분포에 대한 믿음을 갱신하는 절차(베이즈 추론)와, 그 갱신이 닫힌형으로 떨어지는 특별한 구조(켤레성)를 다룹니다. Beta 분포가 "확률에 대한 확률분포"로 활약하는 무대가 여기입니다.

베이즈 정리

조건부 확률의 정의에서 곧바로 나옵니다.

$$P(\theta \mid D) = \frac{P(D \mid \theta)\, P(\theta)}{P(D)}$$

각 항의 역할:

항	이름	의미
$P(\theta)$	사전분포 (prior)	데이터를 보기 전 파라미터에 대한 믿음
$P(D \mid \theta)$	우도 (likelihood)	파라미터가 $\theta$일 때 이 데이터가 나올 그럴듯함
$P(\theta \mid D)$	사후분포 (posterior)	데이터를 본 후 갱신된 믿음
$P(D)$	증거 (evidence)	정규화 상수 $\int P(D \mid \theta) P(\theta)\, d\theta$

핵심 관점 전환: 빈도주의에서 $\theta$는 미지의 상수지만, 베이즈에서는 $\theta$ 자체가 확률 변수입니다. 즉 "파라미터의 분포"라는 개념이 성립하고, 추론이란 그 분포를 데이터로 조여가는 과정입니다.

실무에서는 정규화 상수를 생략한 비례식으로 씁니다.

$$\underbrace{P(\theta \mid D)}_{\text{posterior}} \ \propto\ \underbrace{P(D \mid \theta)}_{\text{likelihood}} \times \underbrace{P(\theta)}_{\text{prior}}$$

문제: 사후분포는 일반적으로 계산 불가능하다

$P(D) = \int P(D \mid \theta) P(\theta) d\theta$ 는 대부분의 (우도, 사전분포) 조합에서 닫힌형이 없습니다. 현대 베이즈 통계의 큰 축(MCMC, 변분 추론)이 이 적분의 근사에 바쳐져 있습니다. 그런데 어떤 조합에서는 이 적분이 공짜로 풀립니다. 그것이 켤레성입니다.

켤레 사전분포 (Conjugate Prior)

사전분포 패밀리 $\mathcal{P}$가 우도 $P(D \mid \theta)$에 대해 켤레(conjugate) 라는 것은:

$$\text{prior} \in \mathcal{P} \implies \text{posterior} \in \mathcal{P}$$

사후분포가 사전분포와 같은 패밀리에 남고, 갱신은 파라미터의 산술 연산으로 끝납니다.

대표 예제: Beta–Bernoulli

동전의 앞면 확률 $\theta \in [0,1]$ 을 추정합니다. $n$번 던져 앞면 $k$번을 관측했다면 우도는:

$$P(D \mid \theta) = \theta^{k} (1-\theta)^{n-k}$$

사전분포로 $\mathrm{Beta}(\alpha, \beta)$, 즉 $P(\theta) \propto \theta^{\alpha-1}(1-\theta)^{\beta-1}$ 를 택하면:

$$P(\theta \mid D) \ \propto\ \theta^{k}(1-\theta)^{n-k} \cdot \theta^{\alpha-1}(1-\theta)^{\beta-1} = \theta^{\alpha+k-1}(1-\theta)^{\beta+n-k-1}$$

우변은 정확히 $\mathrm{Beta}(\alpha+k,\ \beta+n-k)$ 의 커널입니다. 적분을 한 번도 하지 않고:

$$\theta \mid D \ \sim\ \mathrm{Beta}(\alpha + k,\ \beta + n - k)$$

갱신 규칙이 "카운트 덧셈"입니다. $\alpha$는 지금까지 본 성공의 수 + 사전 성공 카운트, $\beta$는 실패 카운트로 읽힙니다. 그래서 $\alpha, \beta$를 의사 카운트(pseudo-count) 라고 부릅니다. $\mathrm{Beta}(1,1)$ (= Uniform)에서 시작하면 "아무 편견 없는 관찰자"가 되고, $\mathrm{Beta}(50,50)$ 에서 시작하면 "공정한 동전이라는 강한 선입견"이 됩니다.

왜 하필 그 조합이 맞물리는가 — 지수족

우연이 아닙니다. 우도가 지수족(exponential family)

$$p(x \mid \theta) = h(x) \exp\big( \eta(\theta)^{\top} T(x) - A(\theta) \big)$$

꼴이면 항상 켤레 사전분포가 존재하며, 갱신은 충분통계량 $T(x)$의 누적으로 환원됩니다. 자주 쓰는 켤레 쌍:

우도	켤레 사전분포	사후분포 갱신
Bernoulli / 이항	Beta	성공·실패 카운트 덧셈
포아송	Gamma	발생 수·관측 횟수 덧셈
정규 (분산 기지)	정규	정밀도 가중 평균
정규 (평균·분산 미지)	Normal-Inverse-Gamma	4개 파라미터 갱신
범주형 / 다항	Dirichlet	카테고리별 카운트 덧셈

셋째 행이 중요합니다: 가우시안은 자기 자신의 평균에 대해 켤레입니다. 켤레성 관점에서도 가우시안과 Beta는 각자의 무대(연속 위치 파라미터 vs 확률 파라미터)에서 같은 역할을 맡습니다.

사후 예측 분포 (Posterior Predictive)

다음 관측 $x_{\text{new}}$ 의 분포는 파라미터 불확실성을 적분해서 얻습니다.

$$P(x_{\text{new}} \mid D) = \int P(x_{\text{new}} \mid \theta)\, P(\theta \mid D)\, d\theta$$

Beta–Bernoulli의 경우 이 적분은 베타 함수 항등식으로 닫힌형이 나옵니다:

$$P(x_{\text{new}} = 1 \mid D) = \mathbb{E}[\theta \mid D] = \frac{\alpha + k}{\alpha + \beta + n}$$

이 식은 Laplace의 계승 규칙($\alpha = \beta = 1$이면 $\frac{k+1}{n+2}$)을 특수 사례로 포함합니다. "관측 0회여도 확률을 0으로 단정하지 않는" 스무딩이 자동으로 나옵니다.

순차 갱신 — 베이즈 추론의 온라인 성질

켤레성 덕분에 데이터가 스트리밍으로 도착해도 상태는 파라미터 몇 개로 충분합니다.

$$\mathrm{Beta}(\alpha,\beta) \xrightarrow{\ \text{1 성공}\ } \mathrm{Beta}(\alpha+1,\beta) \xrightarrow{\ \text{1 실패}\ } \mathrm{Beta}(\alpha+1,\beta+1) \to \cdots$$

• 데이터를 한 번에 다 넣든, 하나씩 넣든 최종 사후분포는 동일합니다(교환 가능성).
• 이 구조가 멀티암드 밴딧의 Thompson sampling(Beta 분포 페이지 참조)과 A/B 테스트의 실시간 모니터링을 가능하게 합니다.

켤레성의 한계

• 표현력 제약: 실제 사전 지식이 Beta 모양이 아닐 수 있습니다. 켤레성은 계산 편의이지 인식론적 정당화가 아닙니다.
• 복잡한 모델(계층 모델, 신경망)에서는 켤레 구조가 깨지고 MCMC·변분 추론이 필요합니다. 다만 그 알고리즘들 내부에서도 켤레 블록은 여전히 성능의 지렛대로 쓰입니다(예: Gibbs sampling의 완전 조건부 분포).

이 페이지에서 기억할 것

1. 베이즈 추론 = prior × likelihood ∝ posterior. 파라미터를 확률 변수로 승격시키는 관점 전환이 본질이다.
2. 켤레성 = 사후분포가 사전분포 패밀리에 남는 성질. 갱신이 충분통계량의 산술로 환원된다.
3. Beta–Bernoulli가 켤레 쌍의 원형이다: $\mathrm{Beta}(\alpha,\beta) \to \mathrm{Beta}(\alpha+k, \beta+n-k)$, 파라미터는 의사 카운트다.
4. 사후 예측 평균 $\frac{\alpha+k}{\alpha+\beta+n}$ 은 자동 스무딩을 내장한다.

다음 단계

배경 이론이 끝났습니다. 이제 세 분포를 정면으로 다룹니다.

• 가우시안 분포
• Beta 분포
• 알파 안정 분포