본문으로 건너뛰기

Beta 분포 — 확률에 대한 확률분포

Distribution 2/3. Beta 분포는 [0,1][0,1] 위에 사는 분포, 즉 비율·확률 자체를 모델링하는 분포입니다. 배경: 감마·베타 함수, 베이즈 추론과 켤레성.

정의​

X∼Beta(α,β)X \sim \mathrm{Beta}(\alpha, \beta), α,β>0\alpha, \beta > 0:

f(x)=xα−1(1−x)β−1B(α,β),x∈[0,1]f(x) = \frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha, \beta)}, \qquad x \in [0, 1]

정규화 상수는 베타 함수:

B(α,β)=∫01tα−1(1−t)β−1 dt=Γ(α)Γ(β)Γ(α+β)B(\alpha, \beta) = \int_0^1 t^{\alpha-1}(1-t)^{\beta-1}\, dt = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}

구조 읽기: 밀도는 "xx 쪽으로 끌어당기는 힘 xα−1x^{\alpha-1}"과 "1−x1-x 쪽으로 끌어당기는 힘 (1−x)β−1(1-x)^{\beta-1}"의 곱입니다. α\alpha는 1 근처를, β\beta는 0 근처를 선호하게 만드는 파라미터입니다.

형태의 지도 — 파라미터가 만드는 모양들​

(α,β)(\alpha, \beta)모양해석
(1,1)(1, 1)평평 (Uniform)완전 무지
(α=β>1)(\alpha = \beta > 1)0.5 중심 대칭 종형"반반일 것"이라는 믿음, 클수록 뾰족
(α>β>1)(\alpha > \beta > 1)오른쪽으로 치우친 봉우리성공 쪽에 무게
(α<1, β<1)(\alpha \lt 1,\ \beta \lt 1)U자형 (양끝 발산)"극단 중 하나"라는 믿음 (0 아니면 1)
(1,β>1)(1, \beta > 1)단조 감소0 근처 선호
(α→∞(\alpha \to \infty, 비율 고정))한 점으로 집중확신의 극한

하나의 2-파라미터 패밀리가 균등·종형·U자·J자형을 모두 표현합니다. [0,1][0,1] 위의 "만능 모양 라이브러리"인 셈이며, 이 표현력이 사전분포로서의 인기 비결입니다.

모멘트​

베타형 적분 패턴으로 즉시 계산됩니다.

E[X]=αα+β,Var(X)=αβ(α+β)2(α+β+1)\mathbb{E}[X] = \frac{\alpha}{\alpha+\beta}, \qquad \mathrm{Var}(X) = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}
  • 평균은 성공 카운트의 비율입니다. α=7,β=3\alpha = 7, \beta = 3 이면 평균 0.7.
  • n0=α+βn_0 = \alpha + \beta (총 의사 카운트)가 커질수록 분산이 O(1/n0)O(1/n_0) 로 줄어듭니다 — "증거의 양"이 분산을 조입니다.
  • 최빈값(mode)은 α,β>1\alpha, \beta > 1 일 때 α−1α+β−2\frac{\alpha-1}{\alpha+\beta-2}. 평균과 최빈값이 다르다는 것은 비대칭의 신호입니다.
  • 지지집합이 유계이므로 모든 차수의 모멘트가 존재합니다. 모멘트 사다리의 반대쪽 극단(알파 안정)과 대비됩니다.

유도 경로 1: 켤레성 — 베이즈 추론의 상태 변수​

Beta–Bernoulli 켤레성의 요약:

Beta(α,β) + (성공 k, 실패 n−k) ⟶ Beta(α+k, β+n−k)\mathrm{Beta}(\alpha, \beta) \ +\ (\text{성공 } k, \text{ 실패 } n-k) \ \longrightarrow\ \mathrm{Beta}(\alpha + k,\ \beta + n - k)
  • 우도 θk(1−θ)n−k\theta^k (1-\theta)^{n-k} 와 밀도의 커널이 같은 대수적 모양이라 곱해도 모양이 유지됩니다. 켤레성은 이 "모양 일치"의 다른 이름입니다.
  • 사후 평균은 사전 평균과 표본 비율의 가중 평균으로 분해됩니다:
α+kα+β+n=n0n0+n⋅αn0+nn0+n⋅kn\frac{\alpha+k}{\alpha+\beta+n} = \frac{n_0}{n_0+n}\cdot\frac{\alpha}{n_0} + \frac{n}{n_0+n}\cdot\frac{k}{n}

데이터가 쌓일수록(n≫n0n \gg n_0) 사전분포의 영향이 사라지는 구조가 식에 그대로 보입니다.

유도 경로 2: 순서통계량 — Beta가 "자연 발생"하는 곳​

U1,…,Un∼Uniform(0,1)U_1, \dots, U_n \sim \mathrm{Uniform}(0,1) i.i.d. 를 정렬한 kk번째 값 U(k)U_{(k)} 의 분포는:

U(k)∼Beta(k, n−k+1)U_{(k)} \sim \mathrm{Beta}(k,\ n-k+1)

직관: U(k)U_{(k)} 가 xx 근처에 있으려면 k−1k-1개가 왼쪽(xk−1x^{k-1}), n−kn-k개가 오른쪽((1−x)n−k(1-x)^{n-k})에 있어야 하고, 그 조합의 수가 정규화 상수가 됩니다. Beta 분포는 사전분포로 "발명된" 것이 아니라 균등분포의 질서 속에서 저절로 나타나는 분포입니다. 비모수 통계의 분위수 신뢰구간이 이 사실 위에 서 있습니다.

유도 경로 3: 감마 비율 표현​

독립 G1∼Gamma(α),G2∼Gamma(β)G_1 \sim \mathrm{Gamma}(\alpha), G_2 \sim \mathrm{Gamma}(\beta) 에 대해:

G1G1+G2∼Beta(α,β)\frac{G_1}{G_1 + G_2} \sim \mathrm{Beta}(\alpha, \beta)
  • "두 부분의 크기 비율"이라는 해석을 주며, Beta 난수 생성의 표준 방법이기도 합니다(감마 샘플 2개 → 비율).
  • kk개 부분으로 일반화하면 Dirichlet 분포 Dir(α1,…,αk)\mathrm{Dir}(\alpha_1, \dots, \alpha_k) — 확률 벡터(심플렉스) 위의 분포 — 가 나옵니다. Beta는 k=2k=2 인 Dirichlet입니다. LDA 토픽 모델, 다항 분포의 켤레 사전분포가 모두 이 일반화 위에 있습니다.

응용​

Thompson Sampling (멀티암드 밴딧)​

슬롯머신 ii마다 성공 확률에 대한 믿음을 Beta(αi,βi)\mathrm{Beta}(\alpha_i, \beta_i) 로 유지합니다.

  1. 각 팔에서 θ~i∼Beta(αi,βi)\tilde{\theta}_i \sim \mathrm{Beta}(\alpha_i, \beta_i) 를 샘플링
  2. θ~i\tilde{\theta}_i 가 가장 큰 팔을 당김
  3. 성공이면 αi\alpha_i += 1, 실패면 βi\beta_i += 1

불확실한 팔은 샘플의 분산이 커서 가끔 최댓값을 차지하고(탐험), 확실히 좋은 팔은 꾸준히 선택됩니다(활용). 탐험–활용 균형이 별도 하이퍼파라미터 없이 사후분포의 분산에서 저절로 나옵니다. 온라인 광고, 추천 시스템, A/B 테스트 자동화의 표준 알고리즘입니다.

A/B 테스트​

전환율 θA,θB\theta_A, \theta_B 에 각각 Beta 사후분포를 두면 P(θB>θA∣D)P(\theta_B > \theta_A \mid D) 를 몬테카를로(양쪽에서 샘플링해 비교)로 바로 추정할 수 있습니다. p-value보다 직관적인 "B가 나을 확률"을 말할 수 있는 것이 베이즈 A/B 테스트의 장점입니다.

그 외​

  • 비율의 신뢰구간: Clopper–Pearson 구간은 Beta 분위수로 표현됩니다.
  • 프로젝트 관리(PERT): 최소·최빈·최대 추정으로부터 작업 시간을 스케일된 Beta로 모델링.
  • 머신러닝: 라벨 스무딩, 확률 보정(calibration)의 사전분포.

이 페이지에서 기억할 것​

  1. Beta는 [0,1][0,1] 위의 2-파라미터 만능 모양 패밀리다 — 균등·종형·U자·J자를 전부 표현한다.
  2. α,β\alpha, \beta 는 의사 카운트: 평균 αα+β\frac{\alpha}{\alpha+\beta}, 총 카운트가 클수록 분산이 준다.
  3. 세 가지 독립적 유도 경로 — Bernoulli 켤레성, 균등 순서통계량, 감마 비율 — 가 같은 분포에 도달한다.
  4. Thompson sampling은 Beta 사후분포 샘플링만으로 탐험–활용 균형을 공짜로 얻는다.
  5. 다변량 일반화가 Dirichlet이며, Beta는 그 k=2k=2 사례다.

다음 단계​