00. Math
// FOUNDATIONS — 확률, 미분, 최적화를 공리와 알고리즘 사이에서 다시 쌓아 올리는 공간
Optimization::
14 항목
14. 델타 함수 — 점에 집중된 질량
Calculus 6/6. 디랙 델타는 보통 함수가 아니라 시험 함수에서 한 점의 값을 뽑아내는 선형 작용소입니다. "무한히 좁고 전체 질량은 1인 스파이크"라는 공학적 직관을 유지하되, 계산은 적분 안에서만 안전하게 다룹니다. 배경: 극한과 미분, 미분 법칙, 다변수 미분.
15. Restricted Boltzmann Machine — 에너지로 분포를 학습하기
Probabilistic Model 1/1. RBM은 관측 변수와 잠재 변수를 이분 그래프로 연결하고, 에너지 함수로 데이터 분포를 학습하는 생성 모델입니다. 핵심은 좋은 데이터에는 낮은 에너지, 나쁜 재구성에는 높은 에너지를 주도록 파라미터를 조정하는 것입니다. 배경: 확률 공간, 기댓값과 모멘트, 미분과 최적화.
01. 확률 공간과 확률 변수 — 분포 이해의 출발점
Background 1/5. 이 시리즈의 모든 분포는 결국 "확률 공간 위에 정의된 확률 변수가 만드는 측도"입니다. 이 페이지에서 그 문장을 완전히 해석할 수 있게 만드는 것이 목표입니다.
02. 기댓값, 모멘트, 특성함수 — 분포의 숫자 요약
Background 2/5. 분포라는 무한 차원의 대상을 유한 개의 숫자(모멘트)와 하나의 함수(특성함수)로 요약하는 도구를 정리합니다. 특히 특성함수는 알파 안정 분포를 정의하는 유일한 실용적 수단이므로 공들여 다룹니다.
03. 감마 함수와 베타 함수 — 정규화 상수의 공장
Background 3/5. 확률밀도는 "전체 적분 = 1"이 되도록 정규화 상수를 붙여야 완성됩니다. 가우시안의 $\sqrt{2\pi}$, Beta 분포의 $B(\alpha,\beta)$ 가 모두 이 페이지의 두 특수함수에서 나옵니다.
04. 큰 수의 법칙, 중심극한정리, 안정성 — 합의 보편 법칙
Background 4/5. "많은 독립 요인의 합은 어떤 모양이 되는가"라는 하나의 질문에서 큰 수의 법칙(LLN), 중심극한정리(CLT), 그리고 안정 분포(stable distribution)가 차례로 나옵니다. 가우시안이 왜 어디에나 있는지, 그리고 가우시안이 유일한 답이 아닌 이유까지가 이 페이지의 범위입니다.
05. 베이즈 추론과 켤레 사전분포 — 분포가 학습되는 방식
Background 5/5. 지금까지는 분포를 "주어진 것"으로 다뤘습니다. 이 페이지에서는 데이터를 보고 분포에 대한 믿음을 갱신하는 절차(베이즈 추론)와, 그 갱신이 닫힌형으로 떨어지는 특별한 구조(켤레성)를 다룹니다. Beta 분포가 "확률에 대한 확률분포"로 활약하는 무대가 여기입니다.
06. 가우시안 분포 — 보편성의 분포
Distribution 1/3. 가우시안(정규)분포를 "종 모양 곡선"이 아니라 세 개의 독립적인 유도 경로가 모두 도달하는 유일한 답으로 이해합니다. 배경: 확률 공간, 모멘트와 특성함수, CLT.
07. Beta 분포 — 확률에 대한 확률분포
Distribution 2/3. Beta 분포는 $0,1]$ 위에 사는 분포, 즉 비율·확률 자체를 모델링하는 분포입니다. 배경: [감마·베타 함수, 베이즈 추론과 켤레성.
08. 알파 안정 분포 — 무거운 꼬리의 보편 법칙
Distribution 3/3. 알파 안정(α-stable, Lévy stable) 분포는 "독립 합을 취해도 모양이 변하지 않는다"는 안정성 공리로 정의되는 4-파라미터 패밀리입니다. 가우시안과 코시를 특수 사례로 포함하며, 분산이 무한한 데이터의 CLT 극한을 담당합니다. 배경: 특성함수, 안정성과 일반화 CLT.
09. 극한과 미분의 정의 — 순간 변화율이라는 발명
Calculus 1/5. 미분은 "곡선을 아주 가까이서 보면 직선"이라는 관찰을 수학으로 만든 것입니다. 이 페이지에서는 극한이라는 언어로 미분을 엄밀하게 정의하고, "선형 근사"라는 두 번째 정의가 왜 더 강력한지까지 다룹니다.
10. 미분 법칙과 테크닉 — 합성으로 세계를 미분하기
Calculus 2/5. 복잡한 함수는 전부 기본 함수의 사칙연산과 합성으로 만들어집니다. 따라서 기본 도함수 표 + 결합 법칙 네 개만 있으면 어떤 함수든 기계적으로 미분할 수 있습니다. 이 "기계적"이라는 성질이 나중에 자동미분이 되는 씨앗입니다.
11. 평균값 정리와 테일러 전개 — 다항식으로 함수 흉내 내기
Calculus 3/5. 미분의 진짜 쓸모는 "미분계수 하나로 함수 전체의 행동을 통제하는 것"입니다. 그 통제 장치가 평균값 정리이고, 이를 반복 적용해 함수를 다항식으로 재구성한 것이 테일러 전개입니다. 근사 이론·최적화·CLT 증명이 전부 여기서 출발합니다.
12. 다변수 미분 — 기울기에서 Jacobian, Hessian까지
Calculus 4/5. 입력이 벡터가 되는 순간 "기울기 하나"로는 부족해집니다. 미분을 "최적 선형 근사"로 정의해 두었기 때문에 확장은 자연스럽습니다: 선형 근사가 수에서 벡터(gradient)로, 벡터에서 행렬(Jacobian)로 승격될 뿐입니다. 딥러닝의 모든 미분이 이 페이지의 언어로 쓰입니다.
13. 미분과 최적화, 자동미분 — 기울기로 배우는 기계
Calculus 5/5. 앞 4편의 도구를 조립합니다. "미분계수 = 0"이라는 조건이 왜 최적화의 출발점인지, 경사하강법이 왜 작동하는지(테일러 전개), 그리고 딥러닝 프레임워크가 gradient를 어떻게 오차 없이 계산하는지(자동미분 = 연쇄법칙의 체계적 적용)까지.