0. Optimization
// PROBLEMTOALGORITHM — 최적화 문제를 정의에서 알고리즘 선택까지 다시 읽을 수 있게 만든 지도
1. 수학 표기법 — 최적화 언어의 최소 문법
// BACKGROUND 1/6 — set, interval, vector, function, mapping, summation, norm을 같은 방식으로 읽기
2. 최적화를 위한 미적분 — 변화율에서 2차 근사까지
// BACKGROUND 2/6 — derivative, partial derivative, gradient, Hessian, Taylor expansion
3. 최적화를 위한 선형대수 — 방향, 곡률, 선형 시스템
// BACKGROUND 3/6 — vector, matrix, inner product, linear independence, eigenvalue, positive definiteness, linear systems
4. 최적화를 위한 수치해석 — 종이 위 방법을 코드에서 살리는 법
// BACKGROUND 4/6 — approximation error, floating-point arithmetic, iterative method, convergence, condition number
5. 확률과 통계 배경 — 불확실한 평가와 데이터 기반 목적함수
// BACKGROUND 5/6 — random variable, distribution, expectation, variance, sampling, regression
6. 공학 모델링 — 현실 문제를 최적화 문제로 바꾸기
// BACKGROUND 6/6 — input-output model, simulation, ODE/PDE, objective definition, constraint definition
7. 문제 정식화 — 변수, 목적함수, 제약, feasible region
// CORE 1/7 — decision variables, objective function, constraints, feasible region
8. 수학적 기반 — gradient, convexity, norm, decomposition
// CORE 2/7 — gradient/Jacobian/Hessian, Taylor approximation, convexity, norm, inner product, orthogonality, matrix decomposition
9. 최적성 조건 — 멈춰야 할 점을 판별하기
// CORE 3/7 — first-order condition, second-order condition, positive definiteness
0. Gradient descent와 line search — 방향과 보폭을 나누어 생각하기
// CORE 4/7 — gradient descent, exact line search, backtracking, Armijo, Wolfe, momentum, Nesterov
1. Newton과 quasi-Newton — 곡률을 쓰되 비용을 통제하기
// CORE 5/7 — Newton, quasi-Newton, DFP, BFGS
2. Coordinate descent와 conjugate gradient — 좌표와 켤레방향
// CORE 6/7 — coordinate descent, conjugate gradient, preconditioning
3. Expensive optimization — 평가가 비쌀 때의 최적화
// CORE 7/7 — DOE, Latin Hypercube Sampling, surrogate modeling, surrogate-based optimization