00. Optimization::
// PROBLEM_TO_ALGORITHM— 최적화 문제를 정의에서 알고리즘 선택까지 다시 읽을 수 있게 만든 지도
최적화는 “무엇을 바꿀 수 있고, 무엇을 좋다고 볼 것이며, 무엇을 지켜야 하는가”를 수식으로 고정한 뒤, 그 구조를 이용해 해를 찾아가는 과정입니다. 이 섹션은 문제 정식화부터 gradient descent, Newton, quasi-Newton, conjugate gradient, surrogate-based optimization까지 한 번에 이어지도록 구성했습니다.
처음 읽는다면 Background 6편으로 언어를 맞춘 뒤 Core 7편을 읽으세요. 이미 미분과 선형대수를 알고 있다면 문제 정식화부터 시작해도 됩니다.
Background (배경 6편)
- 수학 표기법 — set, interval, vector, function, mapping, summation, norm
- 최적화를 위한 미적분 — derivative, partial derivative, gradient, Hessian, Taylor expansion
- 최적화를 위한 선형대수 — vector, matrix, inner product, linear independence, eigenvalue, positive definiteness, linear systems
- 최적화를 위한 수치해석 — approximation error, floating-point arithmetic, iterative method, convergence, condition number
- 확률과 통계 배경 — random variable, distribution, expectation, variance, sampling, regression
- 공학 모델링 — input-output model, simulation, ODE/PDE, objective definition, constraint definition
Core optimization (문제와 알고리즘 7편)
- 문제 정식화 — decision variables, objective function, constraints, feasible region
- 수학적 기반 — gradient/Jacobian/Hessian, Taylor approximation, convexity, norm, inner product, orthogonality, matrix decomposition
- 최적성 조건 — first-order condition, second-order condition, positive definiteness
- Gradient descent와 line search — exact line search, backtracking, Armijo, Wolfe, momentum, Nesterov
- Newton과 quasi-Newton — Newton, DFP, BFGS
- Coordinate descent와 conjugate gradient — coordinate descent, conjugate gradient, preconditioning
- Expensive optimization — DOE, Latin Hypercube Sampling, surrogate modeling, surrogate-based optimization
Coverage checklist
요청한 모든 항목은 아래 위치에 명시적으로 들어갑니다.
| 영역 | 포함 항목 | 위치 |
|---|---|---|
| Problem formulation | decision variables, objective function, constraints, feasible region | 07 |
| Mathematical foundations | gradient/Jacobian/Hessian, Taylor approximation, convexity, norm/inner product, orthogonality, matrix decomposition | 08 |
| Optimality conditions | first-order, second-order, positive definiteness | 09 |
| Optimization algorithms | gradient descent, line search, momentum, Nesterov, Newton, DFP, BFGS, coordinate descent, conjugate gradient, preconditioning | 10–12 |
| Expensive optimization | DOE, LHS, surrogate modeling, surrogate-based optimization | 13 |
| Background | notation, calculus, linear algebra, numerical analysis, probability/statistics, engineering modeling | 01–06 |
읽는 관점
- 정식화가 절반 — 변수와 제약을 잘못 잡으면 좋은 알고리즘도 잘못된 문제를 빠르게 풀 뿐입니다.
- 미분은 국소 정보 — gradient는 어느 방향으로 움직일지, Hessian은 곡률이 어떤지 알려줍니다.
- 선형대수는 기하 — norm, inner product, orthogonality, eigenvalue는 알고리즘의 수렴을 설명하는 언어입니다.
- 수치해석은 현실성 — floating-point, condition number, convergence를 모르면 종이에 맞는 방법이 코드에서 깨집니다.
- expensive optimization은 예산 문제 — 목적함수 한 번 평가가 비싸면, 더 똑똑하게 샘플링하고 surrogate를 세워야 합니다.