평균값 정리와 테일러 전개 — 다항식으로 함수 흉내 내기

Calculus 3/5. 미분의 진짜 쓸모는 "미분계수 하나로 함수 전체의 행동을 통제하는 것"입니다. 그 통제 장치가 평균값 정리이고, 이를 반복 적용해 함수를 다항식으로 재구성한 것이 테일러 전개입니다. 근사 이론·최적화·CLT 증명이 전부 여기서 출발합니다.

Rolle의 정리 → 평균값 정리

Rolle의 정리: $f$ 가 $[a,b]$ 에서 연속, $(a,b)$ 에서 미분 가능하고 $f(a) = f(b)$ 이면, $f'(c) = 0$ 인 $c \in (a,b)$ 가 존재합니다. (양 끝 높이가 같으면 어딘가에 수평 접선이 있다.)

평균값 정리 (Mean Value Theorem): 같은 조건에서 $f(a) \neq f(b)$ 여도,

$$f'(c) = \frac{f(b) - f(a)}{b - a}$$

인 $c \in (a,b)$ 가 존재합니다. 할선의 기울기와 같은 접선이 어딘가에 있다는 뜻입니다. 증명은 $f$ 에서 할선을 빼서 Rolle로 환원하면 끝입니다.

MVT가 곧바로 주는 것들

• 도함수 부호 ⟹ 단조성: 구간에서 $f' > 0$ 이면 순증가. ($f(y) - f(x) = f'(c)(y-x) > 0$)
• $f' \equiv 0$ ⟹ 상수: "도함수가 같으면 상수 차이"가 여기서 나오고, 부정적분의 $+C$ 가 이 정리의 결과입니다.
• Lipschitz 통제: $|f'| \le L$ 이면 $|f(x) - f(y)| \le L|x - y|$. 미분계수 하나로 함숫값의 변동 전체를 묶는 부등식이며, 경사하강법 수렴 증명($L$-smoothness)의 표준 가정이 바로 이것입니다.

L'Hôpital의 법칙

$\frac{0}{0}$ 또는 $\frac{\infty}{\infty}$ 꼴 극한에서:

$$\lim_{x \to a} \frac{f(x)}{g(x)} = \lim_{x \to a} \frac{f'(x)}{g'(x)} \qquad \text{(우변 극한이 존재할 때)}$$

Cauchy 평균값 정리(MVT의 두 함수 버전)의 결과입니다. 다만 아래 테일러 전개에 익숙해지면 L'Hôpital 없이도 대부분의 극한이 "전개 후 최저차항 비교"로 즉시 읽힙니다.

테일러 정리 (Taylor's Theorem)

$f$ 가 $n+1$ 번 미분 가능하면, $a$ 근방에서:

$$f(x) = \underbrace{\sum_{k=0}^{n} \frac{f^{(k)}(a)}{k!}(x-a)^k}_{\text{테일러 다항식 } T_n(x)} + \underbrace{\frac{f^{(n+1)}(c)}{(n+1)!}(x-a)^{n+1}}_{\text{Lagrange 잉여항}}$$

($c$ 는 $a$ 와 $x$ 사이의 어떤 점.) $n = 0$ 이면 정확히 MVT입니다 — 테일러 정리는 MVT의 고차 확장입니다.

핵심 메시지: 잉여항이 $(x-a)^{n+1}$ 로 통제되므로, $x$ 가 $a$ 에 가까울수록 다항식 근사가 차수만큼 빠르게 좋아집니다.

$$f(x) = T_n(x) + O\big((x-a)^{n+1}\big)$$

왜 계수가 $f^{(k)}(a)/k!$ 인가

$T_n$ 은 "$a$ 에서 $f$ 와 $n$ 계 도함수까지 전부 일치하는 유일한 $n$ 차 다항식"입니다. $\frac{d^k}{dx^k}(x-a)^k = k!$ 이므로 $k!$ 로 나눠야 도함수가 맞아떨어집니다. 감마 함수 페이지에서 본 팩토리얼이 여기서도 정규화 상수 역할을 합니다.

반드시 외워야 할 전개 5개

$x \to 0$ 기준:

$$e^x = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots$$ $$\sin x = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots \qquad \cos x = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \cdots$$ $$\ln(1+x) = x - \frac{x^2}{2} + \frac{x^3}{3} - \cdots \qquad (|x| < 1)$$ $$(1+x)^\alpha = 1 + \alpha x + \frac{\alpha(\alpha-1)}{2!} x^2 + \cdots \qquad (|x| < 1)$$

활용 예 — 확률·ML에서 실제로 마주치는 순간들:

• $\ln(1+x) \approx x - \frac{x^2}{2}$: 로그 수익률 ≈ 단순 수익률, 소표본 보정항의 출처.
• $e^x \approx 1 + x$: 복리 → 연속 복리, $(1 + \lambda/n)^n \to e^\lambda$ (푸아송 극한).
• CLT 증명의 심장 (4편): 특성함수를 2차까지 전개한 $\varphi(t/\sqrt{n})^n = \big(1 - \frac{t^2}{2n} + o(1/n)\big)^n \to e^{-t^2/2}$. 테일러 전개 없이는 CLT 증명이 시작되지 않습니다.
• 시그모이드·소프트맥스의 선형화, 활성 함수의 국소 거동 분석.

2차 전개 — 최적화의 언어

최적화에서 가장 많이 쓰는 것은 2차까지의 전개입니다:

$$f(x + h) \approx f(x) + f'(x)\,h + \frac{1}{2} f''(x)\, h^2$$

• $f'(x) = 0$ 인 점(임계점)에서는 1차항이 사라지고 2차항이 지배 — $f'' > 0$ 이면 극소, $f'' < 0$ 이면 극대. 이것이 5편의 2차 조건입니다.
• 2차항까지 맞춰서 다음 스텝을 정하는 것이 Newton법: $h = -f'(x)/f''(x)$.
• 통계에서는 로그 가능도의 2차 전개가 Laplace 근사(사후분포를 가우시안으로 근사)와 Fisher 정보로 이어집니다. "최댓값 근처에서 로그 밀도를 2차 전개하면 가우시안이 나온다"는 사실은 가우시안의 보편성을 보여주는 또 하나의 경로입니다.

Big-O / little-o 정리

근사의 정밀도를 말하는 표준 어휘입니다 ($x \to a$ 기준):

표기	의미	예
$f = O(g)$	$\|f/g\|$ 가 유계	$\sin x = x + O(x^3)$
$f = o(g)$	$f/g \to 0$	미분 가능성: $f(a+h) - f(a) - f'(a)h = o(h)$
$f \sim g$	$f/g \to 1$	Stirling: $\Gamma(z) \sim \sqrt{2\pi/z}\,(z/e)^z$

수치 미분에서 중심 차분이 $O(h^2)$ 로 전방 차분 $O(h)$ 보다 좋다는 1편의 주장도 테일러 전개 두 개를 빼면 바로 증명됩니다: $f(x+h) - f(x-h) = 2f'(x)h + \frac{2 f'''(x)}{3!}h^3 + \cdots$

테일러 급수의 함정

$n \to \infty$ 급수가 항상 원함수로 수렴하지는 않습니다.

• 수렴 반경: $\ln(1+x)$ 는 $|x| < 1$ 에서만 성립. 반경 밖에서 전개를 쓰면 그냥 틀립니다.
• 매끄럽지만 해석적이지 않은 함수: $f(x) = e^{-1/x^2}$ ($f(0)=0$) 은 모든 계 도함수가 원점에서 0이라 테일러 급수가 항등적으로 0이지만, 함수 자체는 0이 아닙니다. "모든 도함수를 알아도 함수를 모를 수 있다."
• 반면 특성함수처럼 좋은 성질을 가진 대상은 국소 전개가 분포 전체를 결정합니다 — 모멘트 문제와의 대비는 2편 참고.

요약

• MVT는 "미분계수로 함숫값 변동을 통제하는" 장치 — 단조성, Lipschitz, $+C$ 가 전부 여기서 나옵니다.
• 테일러 정리는 MVT의 고차 확장이며, 잉여항 $O((x-a)^{n+1})$ 이 근사 품질을 보증합니다.
• $e^x, \sin, \cos, \ln(1+x), (1+x)^\alpha$ 다섯 전개는 CLT 증명부터 수치 안정성 트릭까지 어디서나 재사용됩니다.
• 2차 전개는 최적화(Newton, 2차 조건)와 통계(Laplace 근사, Fisher 정보)의 공용 언어입니다.

다음: 다변수 미분