MML 장별 상세 해설: 목차와 공부 순서

Deisenroth, Faisal, Ong의 Mathematics for Machine Learning(MML) 212장을 장마다 한 편씩 풀어 쓴 해설이다. 기초수학(Part 1, 27장)과 기초 AI(Part 2, 8~12장)를 범위로 하는 필기시험을 준비하면서 만들었다. 그래서 장마다 손계산 예제, 백지에 써 볼 유도, 말로 설명하기, 확인 문제, 시험 직전 요약이 들어 있다.

교재는 저자들이 mml-book.github.io에 PDF로 공개해 두었다. 해설에 적힌 쪽수와 식 번호는 그 PDF 기준이다.

글의 구성

모든 장은 같은 순서로 되어 있다.

1. 장 지도: 절마다 핵심 한 줄과 중요도, 뒤쪽 장에서 쓰이는 곳
2. 절별 해설: 왜 필요한가 → 정의와 성질 → 손으로 풀어 보는 예제 → 헷갈리는 점
3. 핵심 유도 모음: 백지에 처음부터 써 볼 유도
4. 말로 설명하기: 서술형·구술 질문에 30~60초로 답하는 예시
5. 연습문제: 교재 연습문제 풀이, 또는 해설이 만든 확인 문제
6. 시험 직전 10분 요약

글이 길다. 글 머리의 목차를 펼치면 절로 바로 갈 수 있고, 화면보다 넓은 수식과 표는 옆으로 밀어서 본다.

장 목록

• 2장 선형대수 (교재 17~69쪽): 가우스 소거로 해집합 구하기, 랭크·영공간, 기저 변환 행렬. 교재 연습문제 풀이 포함.
• 3장 해석기하 (7097쪽): 부분공간 사영 $\pi_U(x)=B(B^\top B)^{-1}B^\top x$, 그람-슈미트, 내적의 양의 정부호 판정. 연습문제 3.13.10 풀이.
• 4장 행렬분해 (98138쪽): 고유값·고유벡터, 대각화, SVD 손계산($A=\begin{bmatrix}3&0\\4&5\end{bmatrix}$), 계수 1 근사. 연습문제 4.14.12 풀이.
• 5장 벡터 미적분 (139~171쪽): 기울기·야코비안의 크기 맞추기, 연쇄법칙, 행렬 미분 항등식, 작은 신경망 역전파. 교재 연습문제 풀이 포함.
• 6장 확률과 분포 (172224쪽): 베이즈 정리, 가우시안 조건부·곱·선형변환, 베타-이항 갱신, 지수족 변환, 변수 변환. 연습문제 6.16.13 풀이.
• 7장 연속최적화 (225~248쪽): 경사하강법 수렴 조건, 라그랑주 승수, 쌍대 함수, 볼록성 판정, 볼록 켤레. 교재 연습문제 풀이 포함.
• 8장 모델과 데이터 (251~288쪽): MLE·MAP 계산, 경험적 위험, d-분리, AIC·BIC. 확인 문제(교재에 장 끝 문제 없음).
• 9장 선형회귀 (289~316쪽): 정규방정식, 릿지=MAP, 베이즈 사후분포·예측분산, 사영 해석. 확인 문제.
• 10장 PCA (317~347쪽): 4점 데이터 PCA 처음부터 끝까지, 재구성 오차 = 버린 고유값 합, $N<D$ 트릭, PPCA 사후분포. 확인 문제.
• 11장 GMM·EM (348~369쪽): 책임도 $r_{nk}$ 계산, $\mu_k,\Sigma_k,\pi_k$ 갱신 한 바퀴. 확인 문제.
• 12장 SVM (370~394쪽): 마진 $1/\|w\|$ 유도, 3점 하드 마진 쌍대 손계산, 힌지 손실, 커널 특징 맵. 확인 문제.

2~7장 교재 연습문제 75개의 전체 풀이는 따로 한 편으로 모았다. 문제마다 단계별 풀이, 답, 검산 순서로 되어 있어 장별 글의 연습문제 답을 손으로 따라 쓸 수 있다.

• 교재 연습문제 전체 풀이 (교재 64248쪽의 장 끝 문제): 2.12.20, 3.13.10, 4.14.12, 5.15.9, 6.16.13, 7.1~7.11.

8~12장은 교재에 장 끝 문제가 없어서, 교재의 절·식·예제를 따라 손으로 풀 수 있는 문제를 만들었다. 문제지와 풀이를 두 편으로 나눠 먼저 문제만 보고 풀어 볼 수 있게 했다.

• 8~12장 연습문제: 8-18-9, 9-19-9, 10-110-9, 11-111-8, 12-1~12-8과 OX 퀴즈 15문항. 문제마다 근거가 되는 교재 절과 식 번호를 적었다.
• 8~12장 연습문제 풀이: 문제마다 단계별 풀이와 답. 숫자 답은 numpy·scipy로 검산했다.

마지막으로 실제 시험 시간(과목당 60분)에 맞춘 모의고사를 만들었다. 과목마다 기본 계산 위주의 A형(우리말)과 증명·유도 위주의 B형(영어 지문)이 있다.

• 실전 모의고사: Part 1·Part 2 각각 A형·B형 6문항씩, 모두 24문항과 영어 지문 용어 대조표.
• 실전 모의고사 풀이: 문제마다 단계별 풀이, 답, 채점 포인트, 교재 근거. 숫자 답은 sympy·numpy로 검산했다.

시험 직전에는 아래 한 편만 보면 된다. 장별 글의 핵심과 요약, 모의고사 풀이에서 공식·조건·증명 뼈대만 골라 모았다.

• 시험 직전 최종 정리: 시험장에서 쓰는 요령, 표기 함정, 2~12장 공식과 조건, 증명·유도 뼈대 12개, 서술형 답, 영어 지문 용어, 입실 직전 점검 목록.

검산과 표시

• 손계산 예제와 연습문제·확인 문제의 숫자는 sympy·numpy로 다시 계산해 확인했고, 식 번호와 쪽수는 교재 원문과 대조했다.
• 교재에 없는 내용은 “교재 밖 보충"이라고 표시했다.
• Part 2(8~12장)에는 교재에 장 끝 연습문제가 없다. 그래서 확인 문제와 교재 예제를 연결한 과제를 넣었다.

공부 순서 (5일)

27장(수학)을 먼저 되살리면 812장이 훨씬 빨리 읽힌다. 8~12장은 그 수학을 머신러닝에 쓰는 장이기 때문이다. 각 장은 “손으로 풀어 보는 예제"를 직접 따라 쓰고 → 핵심 유도를 백지에 한 번 써 보고 → 확인 문제를 푸는 순서를 권한다.

1. 1일차: 2장. 연립방정식·랭크·선형사상. 이후 모든 장의 언어다.
2. 2일차: 3장, 4장. 사영은 9장 회귀의 기하학이고, 고유값·SVD는 10장 PCA의 핵심이다.
3. 3일차: 5장, 6장. 기울기 계산은 9·11장 유도에, 가우시안 공식은 9·10·11장 전부에 쓰인다.
4. 4일차: 7장 → 9장 → 10장. 라그랑주 승수는 10장 PCA와 12장 SVM에 쓰인다. 회귀와 PCA에는 출제 가능성이 높은 유도가 많다.
5. 5일차(시험 당일 아침): 12장 → 11장 → 8장 핵심 유도, 모든 장의 “시험 직전 10분 요약”. 시험장에서는 새 내용을 보지 말고 요약표와 체크리스트만 본다.

시간이 부족할 때 (장마다 최소 경로)

1. 각 장의 “시험 직전 10분 요약” 표를 읽는다.
2. “손으로 풀어 보는 예제” 하나만 끝까지 따라 쓴다.
3. “말로 설명하기”의 질문에 답을 가린 채 한 번 말해 본다.

교재 표기 관례 (틀리기 쉬운 것)

• 기울기는 행벡터다. MML은 스칼라 함수를 벡터로 미분한 결과를 $1\times n$ 행벡터로 쓴다(5장). 다른 책의 열벡터 관례와 섞으면 전치가 틀린다.
• 공분산 분모는 $1/N$이다. 통계학의 $1/(N-1)$과 다르다(6장, 10장).
• Eckart–Young 정리(정리 4.25)는 교재에서 스펙트럼 노름으로 서술된다. 프로베니우스 노름에서도 성립하지만 교재 밖 보충이다.
• KKT 조건은 교재 본문에 따로 정리되어 있지 않고 12장 여백 주석에만 나온다. 7장 해설의 KKT 절은 교재 밖 보충이다.
• 등식 제약은 7.2절에서 부등식 두 개로 바꿔 다룬다.
• K-평균과 GMM: 교재 11.5절은 “공분산을 무시(단위행렬로 고정)하면 K-평균과 연결된다"는 정도로만 말한다.