극한과 미분의 정의 — 순간 변화율이라는 발명

Calculus 1/5. 미분은 "곡선을 아주 가까이서 보면 직선"이라는 관찰을 수학으로 만든 것입니다. 이 페이지에서는 극한이라는 언어로 미분을 엄밀하게 정의하고, "선형 근사"라는 두 번째 정의가 왜 더 강력한지까지 다룹니다.

극한 (Limit)

함수 $f$ 가 점 $a$ 근처에서 어떤 값 $L$ 에 "다가간다"는 직관을 엄밀하게 쓴 것이 $\varepsilon$-$\delta$ 정의입니다.

$$\lim_{x \to a} f(x) = L \quad\Longleftrightarrow\quad \forall \varepsilon > 0,\ \exists \delta > 0:\ 0 < |x - a| < \delta \implies |f(x) - L| < \varepsilon$$

읽는 법: "오차 허용치 $\varepsilon$ 을 아무리 작게 잡아도, 입력을 $a$ 에 충분히($\delta$ 만큼) 가깝게 하면 출력 오차를 그 안에 가둘 수 있다." 게임으로 비유하면 상대가 $\varepsilon$ 을 부르고 내가 $\delta$ 로 응수하는 구조입니다. 어떤 $\varepsilon$ 에도 응수할 수 있어야 극한이 존재합니다.

주의할 점 두 가지:

• $0 < |x - a|$ 조건 때문에 $x = a$ 에서의 값은 극한과 무관합니다. $f(a)$ 가 정의되지 않아도 극한은 존재할 수 있습니다.
• 좌극한 $\lim_{x \to a^-}$ 과 우극한 $\lim_{x \to a^+}$ 이 모두 존재하고 일치해야 극한이 존재합니다.

연속 (Continuity)

$$f \text{ 가 } a \text{ 에서 연속} \quad\Longleftrightarrow\quad \lim_{x \to a} f(x) = f(a)$$

극한값과 함수값이 일치한다는 뜻입니다. "끊김 없이 그릴 수 있다"의 엄밀한 버전입니다.

미분의 정의 1 — 차분몫의 극한

$$f'(a) = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h}$$

분수 부분은 두 점 $(a, f(a))$ 와 $(a+h, f(a+h))$ 를 잇는 할선(secant)의 기울기입니다. $h \to 0$ 극한을 취하면 할선이 접선(tangent) 으로 수렴하고, 그 기울기가 미분계수입니다.

물리적으로는 평균 속도(구간 변화율)의 극한이 순간 속도(순간 변화율)입니다. 표기법은 세 가지가 통용됩니다.

표기	이름	강조점
$f'(x)$	Lagrange	함수를 새 함수로 보내는 연산
$\dfrac{df}{dx}$	Leibniz	변화량의 비율, 치환·연쇄에 강함
$\dot{x}$	Newton	시간에 대한 미분(물리)

미분의 정의 2 — 최적 선형 근사

같은 내용을 다르게 쓸 수 있습니다. $f$ 가 $a$ 에서 미분 가능하다는 것은, 어떤 수 $m$ 이 존재해서

$$f(a + h) = f(a) + m\,h + o(h) \qquad (h \to 0)$$

가 성립한다는 것과 동치입니다. 여기서 $o(h)$ 는 $h$ 보다 빨리 0으로 가는 오차, 즉 $\lim_{h\to 0} o(h)/h = 0$ 을 뜻합니다. 이때 $m = f'(a)$ 입니다.

이 관점이 진짜 정의입니다. 미분이란 "함수를 국소적으로 가장 잘 흉내 내는 선형 함수를 찾는 일"이고, 미분계수는 그 선형 함수의 기울기입니다. 이 관점의 장점은:

• 일반화가 자명 — 다변수 함수에서는 "기울기 하나"가 아니라 "선형 사상(행렬)"이 되고, 그것이 Jacobian입니다. 차분몫 정의는 다변수로 곧장 확장되지 않습니다(무엇으로 나눌 것인가?).
• 연쇄법칙이 자연스러움 — "선형 근사의 합성은 선형 근사의 곱"이라는 한 문장으로 연쇄법칙이 증명됩니다.
• 테일러 전개의 0단계 — 선형 근사에 2차, 3차 항을 더 붙여 나간 것이 테일러 전개입니다.

미분 가능 ⟹ 연속 (역은 거짓)

미분 가능하면 연속입니다. 증명은 한 줄입니다:

$$\lim_{h \to 0} \big[ f(a+h) - f(a) \big] = \lim_{h \to 0} \frac{f(a+h) - f(a)}{h} \cdot h = f'(a) \cdot 0 = 0$$

역은 성립하지 않습니다. 반례의 등급이 여럿 있습니다.

• $f(x) = |x|$ — 원점에서 연속이지만, 좌미분계수 $-1$ 과 우미분계수 $+1$ 이 달라 미분 불가능. 꺾인 점(kink)의 전형입니다. ML에서 ReLU $\max(0, x)$ 가 정확히 이 상황이고, 실무에서는 원점에서 열미분(subgradient) 값 하나를 골라 씁니다.
• $f(x) = x^{1/3}$ — 원점에서 접선이 수직이라 미분계수가 발산.
• Weierstrass 함수 — 모든 점에서 연속이지만 모든 점에서 미분 불가능한 함수가 존재합니다. "연속이면 대체로 미분 가능하겠지"라는 직관은 틀렸습니다. 브라운 운동의 표본 경로도 (확률 1로) 이런 성질을 가집니다.

기본 예제 — 정의로 직접 계산

$f(x) = x^2$:

$$f'(x) = \lim_{h \to 0} \frac{(x+h)^2 - x^2}{h} = \lim_{h \to 0} \frac{2xh + h^2}{h} = \lim_{h \to 0} (2x + h) = 2x$$

$f(x) = e^x$:

$$f'(x) = \lim_{h \to 0} \frac{e^{x+h} - e^x}{h} = e^x \lim_{h \to 0} \frac{e^h - 1}{h} = e^x$$

마지막 극한이 1이 되는 것은 $e$ 의 정의 그 자체입니다. "자기 자신이 도함수인 함수"라는 성질이 $e^x$ 를 특별하게 만들고, 미분방정식·확률(모멘트 생성 함수)·해석학 전반에서 지수함수가 기본 부품이 되는 이유입니다.

수치 미분 맛보기 — 왜 정의를 그대로 코딩하면 안 되는가

정의를 그대로 코드에 옮기면 전방 차분(forward difference)이 됩니다:

$$f'(x) \approx \frac{f(x+h) - f(x)}{h}$$

이 근사의 오차는 $O(h)$ 인 반면, 중심 차분(central difference)

$$f'(x) \approx \frac{f(x+h) - f(x-h)}{2h}$$

은 $O(h^2)$ 입니다(테일러 전개로 증명 — 3편). 그런데 $h$ 를 무한정 줄이면 부동소수점 반올림 오차가 $1/h$ 로 증폭되어 오히려 나빠집니다. 절단 오차와 반올림 오차의 트레이드오프 때문에 최적 $h$ 가 존재하며(배정밀도에서 대략 $h \sim 10^{-8}$), 이 한계가 수치 미분 대신 자동미분을 쓰는 근본 이유입니다.

요약

• 극한은 $\varepsilon$-$\delta$ 게임이고, 미분은 차분몫의 극한입니다.
• 더 좋은 정의는 최적 선형 근사: $f(a+h) = f(a) + f'(a)h + o(h)$. 다변수·연쇄법칙·테일러가 전부 이 관점에서 나옵니다.
• 미분 가능 ⟹ 연속이지만 역은 거짓 — 꺾임(ReLU), 수직 접선, Weierstrass.
• 정의를 그대로 수치화하면 정밀도 한계에 부딪히며, 이것이 자동미분의 존재 이유입니다.

다음: 미분 법칙과 테크닉