기댓값, 모멘트, 특성함수 — 분포의 숫자 요약

Background 2/5. 분포라는 무한 차원의 대상을 유한 개의 숫자(모멘트)와 하나의 함수(특성함수)로 요약하는 도구를 정리합니다. 특히 특성함수는 알파 안정 분포를 정의하는 유일한 실용적 수단이므로 공들여 다룹니다.

기댓값 (Expectation)

확률 변수 $X$의 기댓값은 확률 측도에 대한 적분입니다.

$$\mathbb{E}[X] = \int_{\Omega} X(\omega)\, dP(\omega) = \int_{-\infty}^{\infty} x \, d\mu_X(x)$$

실용적으로는:

• 이산형: $\mathbb{E}[X] = \sum_x x \, p_X(x)$
• 연속형: $\mathbb{E}[X] = \int_{-\infty}^{\infty} x f_X(x)\, dx$

LOTUS (무의식적 통계학자의 법칙)

함수 $g$에 대해 $g(X)$의 분포를 새로 구할 필요 없이 다음이 성립합니다.

$$\mathbb{E}[g(X)] = \int_{-\infty}^{\infty} g(x) f_X(x)\, dx$$

기댓값의 성질

• 선형성: $\mathbb{E}[aX + bY] = a\,\mathbb{E}[X] + b\,\mathbb{E}[Y]$ — 독립이 아니어도 성립합니다.
• 독립 곱: $X \perp Y$ 이면 $\mathbb{E}[XY] = \mathbb{E}[X]\,\mathbb{E}[Y]$
• 존재 조건: $\mathbb{E}[X]$가 "존재한다"는 것은 $\mathbb{E}[\lvert X \rvert]$ 가 유한하다는 뜻입니다. 모든 분포가 기댓값을 갖는 것은 아닙니다.

기댓값이 없는 분포는 병리적 예외가 아니다

코시 분포 $f(x) = \frac{1}{\pi(1+x^2)}$ 는 $\int \lvert x \rvert f(x)\, dx = \infty$ 이므로 평균이 정의되지 않습니다. 코시 분포는 알파 안정 분포의 $\alpha = 1$ 특수 사례이며, 금융 수익률·네트워크 지연 같은 실제 데이터의 무거운 꼬리를 모델링할 때 자연스럽게 등장합니다. "표본 평균을 구하면 되지"라는 직관은 이런 분포 앞에서 무너집니다 — 표본을 아무리 모아도 표본 평균이 수렴하지 않습니다.

분산과 고차 모멘트

$k$차 모멘트는 $\mathbb{E}[X^k]$, $k$차 중심 모멘트는 $\mathbb{E}[(X-\mu)^k]$ 입니다 ($\mu = \mathbb{E}[X]$).

분산 (2차 중심 모멘트)

$$\mathrm{Var}(X) = \mathbb{E}[(X-\mu)^2] = \mathbb{E}[X^2] - \mu^2$$

• $\mathrm{Var}(aX + b) = a^2 \mathrm{Var}(X)$
• 독립이면 $\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$ — CLT에서 $\sqrt{n}$ 스케일링이 나오는 이유입니다.

왜도와 첨도 (3, 4차 표준화 모멘트)

$$\text{skewness} = \mathbb{E}\Big[\Big(\frac{X-\mu}{\sigma}\Big)^3\Big], \qquad \text{kurtosis} = \mathbb{E}\Big[\Big(\frac{X-\mu}{\sigma}\Big)^4\Big]$$

• 왜도는 비대칭성. Beta 분포는 파라미터에 따라 좌우 어느 쪽으로도 기울 수 있습니다.
• 첨도는 꼬리의 두께. 가우시안의 첨도는 정확히 3이며, 이를 기준점으로 초과 첨도(excess kurtosis)를 잽니다.

모멘트 존재의 사다리

$\mathbb{E}[\lvert X \rvert^k]$ 가 유한하면 그보다 낮은 차수의 모멘트도 모두 유한합니다. 역은 성립하지 않습니다. 분포마다 "몇 차까지 존재하는가"가 다르며, 이것이 꼬리 두께의 정량적 지표입니다.

분포	존재하는 모멘트
가우시안	모든 차수
Beta	모든 차수 (지지집합이 유계이므로)
알파 안정 ($\alpha \lt 2$)	$k \lt \alpha$ 차까지만 — 분산은 항상 무한
코시 ($\alpha = 1$)	1차(평균)조차 없음

모멘트생성함수 MGF

$$M_X(t) = \mathbb{E}[e^{tX}]$$

0 근방에서 존재하면 $M_X^{(k)}(0) = \mathbb{E}[X^k]$ 로 모든 모멘트를 미분으로 얻습니다. 또한 독립 합에 대해 곱으로 분해됩니다.

$$M_{X+Y}(t) = M_X(t)\, M_Y(t) \quad (X \perp Y)$$

한계: MGF는 $e^{tX}$의 적분이 발산하면 존재하지 않습니다. 꼬리가 다항식으로 감소하는 분포(알파 안정 포함)는 MGF가 없습니다. 그래서 더 강력한 도구가 필요합니다.

특성함수 (Characteristic Function)

$$\varphi_X(t) = \mathbb{E}[e^{itX}] = \int_{-\infty}^{\infty} e^{itx} f_X(x)\, dx$$

밀도의 푸리에 변환입니다. 결정적 장점:

1. 항상 존재한다. $\lvert e^{itX} \rvert = 1$ 이므로 어떤 분포든 적분이 수렴합니다. 평균조차 없는 코시 분포도 특성함수는 멀쩡히 존재합니다.
2. 분포를 유일하게 결정한다 (Lévy의 반전 정리). $\varphi_X = \varphi_Y$ 이면 $X$와 $Y$는 같은 분포입니다.
3. 독립 합이 곱이 된다: $\varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)$
4. 수렴을 판정한다 (Lévy의 연속성 정리): 특성함수의 점별 수렴이 분포 수렴과 동치입니다. CLT의 증명이 이 정리 위에 서 있습니다.

대표적인 특성함수

분포	$\varphi(t)$
가우시안 $\mathcal{N}(\mu, \sigma^2)$	$\exp\big(i\mu t - \tfrac{1}{2}\sigma^2 t^2\big)$
코시 (위치 0, 스케일 1)	$\exp(-\lvert t \rvert)$
알파 안정 (대칭, 스케일 1)	$\exp(-\lvert t \rvert^{\alpha})$

세 번째 행을 보면 가우시안($\alpha=2$)과 코시($\alpha=1$)가 같은 패밀리의 양 끝임이 한눈에 들어옵니다. 밀도함수로는 보이지 않던 통일성이 특성함수 공간에서 드러납니다 — 이것이 알파 안정 분포를 특성함수로 정의하는 이유입니다.

모멘트와의 관계

$\mathbb{E}[\lvert X \rvert^k]$ 가 유한하면 $\varphi_X$는 $k$번 미분 가능하고 $\varphi_X^{(k)}(0) = i^k \mathbb{E}[X^k]$ 입니다. 거꾸로 특성함수가 원점에서 매끄럽지 않으면 해당 모멘트가 없다는 신호입니다. $\exp(-\lvert t \rvert)$ 가 원점에서 미분 불가능한 것과 코시 분포에 평균이 없는 것은 같은 사실의 두 표현입니다.

부등식 도구 상자

• Markov: $P(\lvert X \rvert \ge a) \le \mathbb{E}[\lvert X \rvert]/a$
• Chebyshev: $P(\lvert X - \mu \rvert \ge k\sigma) \le 1/k^2$ — 분산만 있으면 분포 무관하게 성립
• Jensen: $g$가 볼록이면 $g(\mathbb{E}[X]) \le \mathbb{E}[g(X)]$

Chebyshev는 큰 수의 법칙의 가장 짧은 증명을 제공합니다.

이 페이지에서 기억할 것

1. 기댓값·분산은 존재하지 않을 수 있다. 존재 여부 자체가 분포의 중요한 성질이다.
2. 모멘트의 존재 범위는 꼬리 두께의 정량 지표다.
3. MGF는 강력하지만 무거운 꼬리에서 죽는다. 특성함수는 항상 존재하고, 분포를 유일하게 결정하며, 독립 합을 곱으로 바꾼다.
4. 가우시안과 코시는 특성함수 $\exp(-\lvert t \rvert^{\alpha})$ 패밀리의 $\alpha = 2, 1$ 사례다.

다음 단계

• 감마 함수와 베타 함수 — Beta 분포의 정규화 상수를 만드는 특수함수
• 큰 수의 법칙, 중심극한정리, 안정성 — 특성함수가 실전 투입되는 곳