교재: Deisenroth·Faisal·Ong, Mathematics for Machine Learning (mml-book.github.io 에 공개된 PDF, 2024-01-15 판). 절과 식 번호는 그 PDF 기준이다.이 글: 새 내용은 없다. 장별 글(212편)의 핵심과 “시험 직전 10분 요약”, 모의고사 풀이 에서 시험에 바로 쓰는 공식·조건·증명 뼈대만 골라 다시 썼다. 유도의 단계별 설명은 장별 글에 있다.범위와 시간: 기초수학 = MML Part 1(27장) 60분, 기초 AI = MML Part 2(8~12장) 60분을 가정했다.
1. 시험장에서 쓰는 요령# 먼저 챙길 주제. 이 범위로 보는 필기의 응시 후기에는 정사영, 기울기 계산, 최적화(경사하강법·라그랑주 승수), 분산 공식 유도, 볼록성, 직교, 고유값, 회전행렬, 이항분포가 나왔다. 영어 지문에 증명 위주로 나온 해도 있었다. 8~12장 범위는 후기를 찾지 못했으므로 대표 유도 다섯 개(정규방정식, 릿지 = MAP, PCA = 고유벡터, GMM의 EM 갱신, SVM 쌍대)를 먼저 챙긴다.
시간. 60분에 6문항이면 문항당 약 9분, 마지막 5분은 검토다.
처음 2분 동안 모든 문항을 훑고, 바로 풀 수 있는 문항부터 표시한다. 한 문항에 15분을 넘기지 않는다. 막히면 표시하고 다음 문항으로 간다. 끝까지 못 가는 유도·증명도 출발 식(정의, 라그랑지안, 음의 로그가능도, 특성방정식)과 중간 단계는 남긴다. 답안 쓰는 법.
증명은 첫 줄에 보일 것을 쓰고 “가정 → 정의에 대입 → 한 줄씩 → 결론(∎)” 순서로 쓴다. 줄마다 쓴 성질(선형성, 대칭, 독립 등)을 괄호로 붙인다. 행렬 계산 옆에 크기를 적는다(K × K K\times K K × K 1 × n 1\times n 1 × n 관례를 한 줄 밝혀 둔다: “기울기는 행벡터(MML 관례)”, “공분산 분모는 N N N 영어 지문이면 7절의 낱말부터 확인한다. Show that·Prove는 증명, Derive는 끝까지 유도하라는 뜻이다. 검산 한 줄 (시간이 남으면 숫자 답마다)
고유값: 합 = 대각합, 곱 = 행렬식. 사영: 오차 x − π ( x ) x-\pi(x) x − π ( x ) 회귀: 잔차와 Φ \Phi Φ SVD: u i ⊤ u j = 0 u_i^\top u_j=0 u i ⊤ u j = 0 i ≠ j i\ne j i = j ∥ A ∥ F 2 = ∑ i σ i 2 \|A\|_F^2=\sum_i\sigma_i^2 ∥ A ∥ F 2 = ∑ i σ i 2 확률: 책임도의 합이 1, 분산이 0 이상, 조건부 분산이 원래 분산 이하. 쌍대: 볼록 문제면 원 문제의 값과 쌍대 문제의 값이 같다. SVM: 하드 마진의 서포트 벡터에서 y n f ( x n ) = 1 y_nf(x_n)=1 y n f ( x n ) = 1 미분: 점 하나를 골라 성분으로 직접 미분한 값과 비교한다. 2. 표기 함정 (MML 관례)# 벡터는 열벡터다. x ∈ R D x\in\mathbb R^D x ∈ R D D × 1 D\times1 D × 1 스칼라 함수의 기울기는 행벡터 (1 × D 1\times D 1 × D x − γ ( ∇ f ) ⊤ x-\gamma(\nabla f)^\top x − γ ( ∇ f ) ⊤ d L d θ = 0 ⊤ \frac{dL}{d\theta}=0^\top d θ d L = 0 ⊤ 야코비안은 (출력 수)×(입력 수) 행렬이다. 행이 출력, 열이 입력. 공분산의 분모는 N N N N − 1 N-1 N − 1 데이터 행렬: 9장 회귀는 데이터 점이 행 (N × D N\times D N × D X ⊤ X X^\top X X ⊤ X 열 (D × N D\times N D × N X X ⊤ XX^\top X X ⊤ log \log log 라그랑지안은 f + ∑ i λ i g i f+\sum_i\lambda_ig_i f + ∑ i λ i g i g i ≤ 0 g_i\le0 g i ≤ 0 λ i ≥ 0 \lambda_i\ge0 λ i ≥ 0 AIC·BIC는 “클수록 좋은” 꼴이다. SVM 쌍대 문제는 최소화 꼴(12.41)이다. SVM 마진은 가장 가까운 점까지의 거리 1 ∥ w ∥ \frac1{\|w\|} ∥ w ∥ 1 2 ∥ w ∥ \frac2{\|w\|} ∥ w ∥ 2 3. 기초수학 공식 (Part 1, 2~7장)# 2장 선형대수# 해집합 = 특수해 하나 + 영공간: { x p + v : v ∈ ker A } \{x_p+v: v\in\ker A\} { x p + v : v ∈ ker A } 특수해: 기약 행 사다리꼴에서 자유변수를 모두 0으로 둔다. 영공간 기저: 오른쪽을 0으로 두고 자유변수 하나만 1, 나머지 자유변수는 0. 자유변수 수만큼 나온다. 해가 있다 ⇔ rk ( A ) = rk ( [ A ∣ b ] ) \text{rk}(A)=\text{rk}([A\mid b]) rk ( A ) = rk ([ A ∣ b ]) [ 0 ⋯ 0 ∣ c ] [0\ \cdots\ 0\mid c] [ 0 ⋯ 0 ∣ c ] c ≠ 0 c\ne0 c = 0 rk ( A ) = n \text{rk}(A)=n rk ( A ) = n 차원 정리: dim ker A + rk ( A ) = n \dim\ker A+\text{rk}(A)=n dim ker A + rk ( A ) = n 일차독립 판정: 벡터를 열로 세워 소거한다. 모든 열이 피벗 열이면 독립이다. 부분공간 판정: (1) 0 0 0 A x = 0 Ax=0 A x = 0 A x = b Ax=b A x = b b ≠ 0 b\ne0 b = 0 열공간의 기저는 원래 행렬 의 피벗 열에서 가져온다. 행 연산은 열공간을 바꾼다. 정사각행렬 A A A rk A = n \text{rk}A=n rk A = n ker A = { 0 } \ker A=\{0\} ker A = { 0 } det A ≠ 0 \det A\ne0 det A = 0 역행렬: 큰 행렬은 [ A ∣ I ] → [ I ∣ A − 1 ] [A\mid I]\to[I\mid A^{-1}] [ A ∣ I ] → [ I ∣ A − 1 ] [ a b c d ] − 1 = 1 a d − b c [ d − b − c a ]
\begin{bmatrix}a&b\\c&d\end{bmatrix}^{-1}=\frac{1}{ad-bc}\begin{bmatrix}d&-b\\-c&a\end{bmatrix}
[ a c b d ] − 1 = a d − b c 1 [ d − c − b a ] ( A B ) ⊤ = B ⊤ A ⊤ (AB)^\top=B^\top A^\top ( A B ) ⊤ = B ⊤ A ⊤ ( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} ( A B ) − 1 = B − 1 A − 1 ( A − 1 ) ⊤ = ( A ⊤ ) − 1 (A^{-1})^\top=(A^\top)^{-1} ( A − 1 ) ⊤ = ( A ⊤ ) − 1 변환행렬의 j j j Φ ( b j ) \Phi(b_j) Φ ( b j ) 기저 변환: A ~ Φ = T − 1 A Φ S \tilde A_\Phi=T^{-1}A_\Phi S A ~ Φ = T − 1 A Φ S S S S A Φ A_\Phi A Φ T − 1 T^{-1} T − 1 S − 1 A S S^{-1}AS S − 1 A S 3장 해석기하# 내적의 조건: 쌍선형, 대칭, 양의 정부호(x ≠ 0 x\ne0 x = 0 ⟨ x , x ⟩ > 0 \langle x,x\rangle>0 ⟨ x , x ⟩ > 0 ⟨ x , y ⟩ = x ⊤ A y \langle x,y\rangle=x^\top Ay ⟨ x , y ⟩ = x ⊤ A y A A A a 11 > 0 a_{11}>0 a 11 > 0 det A > 0 \det A>0 det A > 0 길이 ∥ x ∥ = ⟨ x , x ⟩ \|x\|=\sqrt{\langle x,x\rangle} ∥ x ∥ = ⟨ x , x ⟩ ∥ x − y ∥ \|x-y\| ∥ x − y ∥ cos ω = ⟨ x , y ⟩ ∥ x ∥ ∥ y ∥ \cos\omega=\frac{\langle x,y\rangle}{\|x\|\,\|y\|} cos ω = ∥ x ∥ ∥ y ∥ ⟨ x , y ⟩ ∣ ⟨ x , y ⟩ ∣ ≤ ∥ x ∥ ∥ y ∥ |\langle x,y\rangle|\le\|x\|\,\|y\| ∣ ⟨ x , y ⟩ ∣ ≤ ∥ x ∥ ∥ y ∥ 직교는 내적이 0이라는 뜻이고, 어떤 내적을 쓰느냐에 따라 바뀐다. 직선으로의 사영: π ( x ) = b ⊤ x b ⊤ b b \pi(x)=\frac{b^\top x}{b^\top b}\,b π ( x ) = b ⊤ b b ⊤ x b P = b b ⊤ b ⊤ b P=\frac{bb^\top}{b^\top b} P = b ⊤ b b b ⊤ 부분공간으로의 사영(B B B B ⊤ B λ = B ⊤ x B^\top B\lambda=B^\top x B ⊤ B λ = B ⊤ x π U ( x ) = B ( B ⊤ B ) − 1 B ⊤ x
\pi_U(x)=B(B^\top B)^{-1}B^\top x
π U ( x ) = B ( B ⊤ B ) − 1 B ⊤ x 기저가 정규직교면 B ⊤ B = I B^\top B=I B ⊤ B = I π U ( x ) = B B ⊤ x \pi_U(x)=BB^\top x π U ( x ) = B B ⊤ x 일반 내적 ⟨ x , y ⟩ = x ⊤ A y \langle x,y\rangle=x^\top Ay ⟨ x , y ⟩ = x ⊤ A y λ = ( B ⊤ A B ) − 1 B ⊤ A x \lambda=(B^\top AB)^{-1}B^\top Ax λ = ( B ⊤ A B ) − 1 B ⊤ A x 사영 행렬의 성질: P 2 = P P^2=P P 2 = P P ⊤ = P P^\top=P P ⊤ = P I − P I-P I − P ∥ x − π U ( x ) ∥ \|x-\pi_U(x)\| ∥ x − π U ( x ) ∥ 아핀 공간 L = x 0 + U L=x_0+U L = x 0 + U π L ( x ) = x 0 + π U ( x − x 0 ) \pi_L(x)=x_0+\pi_U(x-x_0) π L ( x ) = x 0 + π U ( x − x 0 ) 직교여공간: U ⊥ = ker B ⊤ U^\perp=\ker B^\top U ⊥ = ker B ⊤ dim U ⊥ = D − dim U \dim U^\perp=D-\dim U dim U ⊥ = D − dim U 그람-슈미트: u 1 = b 1 u_1=b_1 u 1 = b 1 u k = b k − ∑ j < k u j ⊤ b k u j ⊤ u j u j u_k=b_k-\sum_{j<k}\frac{u_j^\top b_k}{u_j^\top u_j}u_j u k = b k − ∑ j < k u j ⊤ u j u j ⊤ b k u j 직교행렬 Q ⊤ Q = I Q^\top Q=I Q ⊤ Q = I Q − 1 = Q ⊤ Q^{-1}=Q^\top Q − 1 = Q ⊤ det Q = ± 1 \det Q=\pm1 det Q = ± 1 회전행렬 R ( θ ) = [ cos θ − sin θ sin θ cos θ ] R(\theta)=\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{bmatrix} R ( θ ) = [ cos θ sin θ − sin θ cos θ ] det R = 1 \det R=1 det R = 1 R ( α ) R ( β ) = R ( α + β ) R(\alpha)R(\beta)=R(\alpha+\beta) R ( α ) R ( β ) = R ( α + β ) 4장 행렬분해# 행렬식: 2×2는 a d − b c ad-bc a d − b c det ( A B ) = det A det B \det(AB)=\det A\det B det ( A B ) = det A det B det A ⊤ = det A \det A^\top=\det A det A ⊤ = det A det A − 1 = 1 / det A \det A^{-1}=1/\det A det A − 1 = 1/ det A det ( c A ) = c n det A \det(cA)=c^n\det A det ( c A ) = c n det A 행 연산과 행렬식: 두 행을 바꾸면 부호가 바뀌고, 한 행에 다른 행의 배수를 더하면 그대로이고, 한 행에 c c c c c c 대각합: tr ( A B ) = tr ( B A ) \text{tr}(AB)=\text{tr}(BA) tr ( A B ) = tr ( B A ) tr ( x y ⊤ ) = y ⊤ x \text{tr}(xy^\top)=y^\top x tr ( x y ⊤ ) = y ⊤ x 고유값: 특성방정식 det ( A − λ I ) = 0 \det(A-\lambda I)=0 det ( A − λ I ) = 0 λ 2 − ( tr A ) λ + det A = 0 \lambda^2-(\text{tr}A)\lambda+\det A=0 λ 2 − ( tr A ) λ + det A = 0 ker ( A − λ I ) \ker(A-\lambda I) ker ( A − λ I ) 고유값의 합 = tr A \text{tr}A tr A det A \det A det A 서로 다른 고유값의 고유벡터는 일차독립이다. 고유값 n n n 대각화: 독립인 고유벡터가 n n n A = P D P − 1 A=PDP^{-1} A = P D P − 1 A k = P D k P − 1 A^k=PD^kP^{-1} A k = P D k P − 1 스펙트럼 정리(정리 4.15): 대칭행렬은 고유값이 모두 실수이고, 정규직교 고유벡터로 A = P D P ⊤ A=PDP^\top A = P D P ⊤ 대칭행렬 A A A x ≠ 0 x\ne0 x = 0 x ⊤ A x > 0 x^\top Ax>0 x ⊤ A x > 0 A ⊤ A A^\top A A ⊤ A 촐레스키(정리 4.18, 대칭 양의 정부호만): A = L L ⊤ A=LL^\top A = L L ⊤ L L L l 11 = a 11 l_{11}=\sqrt{a_{11}} l 11 = a 11 l 21 = a 21 / l 11 l_{21}=a_{21}/l_{11} l 21 = a 21 / l 11 l 22 = a 22 − l 21 2 l_{22}=\sqrt{a_{22}-l_{21}^2} l 22 = a 22 − l 21 2 SVD A = U Σ V ⊤ A=U\Sigma V^\top A = U Σ V ⊤ A ⊤ A A^\top A A ⊤ A λ i \lambda_i λ i v i v_i v i σ i = λ i \sigma_i=\sqrt{\lambda_i} σ i = λ i u i = A v i / σ i u_i=Av_i/\sigma_i u i = A v i / σ i u i u_i u i A A ⊤ AA^\top A A ⊤ A A ⊤ AA^\top A A ⊤ u i u_i u i v i = A ⊤ u i / σ i v_i=A^\top u_i/\sigma_i v i = A ⊤ u i / σ i 0이 아닌 특이값의 개수 = 랭크. 모자란 v i v_i v i ker A \ker A ker A 저랭크 근사: A ^ k = ∑ i ≤ k σ i u i v i ⊤ \hat A_k=\sum_{i\le k}\sigma_iu_iv_i^\top A ^ k = ∑ i ≤ k σ i u i v i ⊤ ∥ A ∥ 2 = σ 1 \|A\|_2=\sigma_1 ∥ A ∥ 2 = σ 1 ∥ A − A ^ k ∥ 2 = σ k + 1 \|A-\hat A_k\|_2=\sigma_{k+1} ∥ A − A ^ k ∥ 2 = σ k + 1 ∥ A ∥ F 2 = tr ( A ⊤ A ) = ∑ i σ i 2 \|A\|_F^2=\text{tr}(A^\top A)=\sum_i\sigma_i^2 ∥ A ∥ F 2 = tr ( A ⊤ A ) = ∑ i σ i 2 대칭 준정부호 행렬이면 고유값분해와 SVD가 같다. 5장 벡터 미적분# 크기 규칙: f : R n → R f:\mathbb R^n\to\mathbb R f : R n → R 1 × n 1\times n 1 × n f : R n → R m f:\mathbb R^n\to\mathbb R^m f : R n → R m m × n m\times n m × n 연쇄법칙: d d x f ( g ( x ) ) = ∂ f ∂ g ∂ g ∂ x \frac{d}{dx}f(g(x))=\frac{\partial f}{\partial g}\frac{\partial g}{\partial x} d x d f ( g ( x )) = ∂ g ∂ f ∂ x ∂ g ( m × k ) ( k × n ) (m\times k)(k\times n) ( m × k ) ( k × n ) k k k 외울 미분(a a a A A A B B B W W W ∂ ∂ x a ⊤ x = a ⊤ \frac{\partial}{\partial x}a^\top x=a^\top ∂ x ∂ a ⊤ x = a ⊤ ∂ ∂ x A x = A \frac{\partial}{\partial x}Ax=A ∂ x ∂ A x = A ∂ ∂ x x ⊤ B x = x ⊤ ( B + B ⊤ ) \frac{\partial}{\partial x}x^\top Bx=x^\top(B+B^\top) ∂ x ∂ x ⊤ B x = x ⊤ ( B + B ⊤ ) B B B 2 x ⊤ B 2x^\top B 2 x ⊤ B ∂ ∂ x ∥ A x − b ∥ 2 = 2 ( A x − b ) ⊤ A \frac{\partial}{\partial x}\|Ax-b\|^2=2(Ax-b)^\top A ∂ x ∂ ∥ A x − b ∥ 2 = 2 ( A x − b ) ⊤ A ∂ ∂ s ( x − A s ) ⊤ W ( x − A s ) = − 2 ( x − A s ) ⊤ W A \frac{\partial}{\partial s}(x-As)^\top W(x-As)=-2(x-As)^\top WA ∂ s ∂ ( x − A s ) ⊤ W ( x − A s ) = − 2 ( x − A s ) ⊤ W A W W W 스칼라를 행렬로 미분하면 그 행렬과 크기가 같다. ∂ ∂ X a ⊤ X b = a b ⊤ \frac{\partial}{\partial X}a^\top Xb=ab^\top ∂ X ∂ a ⊤ X b = a b ⊤ ∂ ∂ X tr ( A X B ) = A ⊤ B ⊤ \frac{\partial}{\partial X}\text{tr}(AXB)=A^\top B^\top ∂ X ∂ tr ( A XB ) = A ⊤ B ⊤ ∂ ∂ X log det X = ( X − 1 ) ⊤ \frac{\partial}{\partial X}\log\det X=(X^{-1})^\top ∂ X ∂ log det X = ( X − 1 ) ⊤ L = ∥ y − W x ∥ 2 L=\|y-Wx\|^2 L = ∥ y − W x ∥ 2 d L d W = − 2 ( y − W x ) x ⊤ \frac{dL}{dW}=-2(y-Wx)x^\top d W d L = − 2 ( y − W x ) x ⊤ 공식이 기억나지 않으면 성분 하나(x k x_k x k W i j W_{ij} W ij x ⊤ B x x^\top Bx x ⊤ B x 활성화 함수의 미분: tanh ′ = 1 − tanh 2 \tanh'=1-\tanh^2 tanh ′ = 1 − tanh 2 σ ′ = σ ( 1 − σ ) \sigma'=\sigma(1-\sigma) σ ′ = σ ( 1 − σ ) 역전파: 출력 쪽부터 “손실을 각 층 출력으로 미분한 값"을 구해 저장하고 아래층에서 다시 쓴다. 층 z = W x z=Wx z = W x δ \delta δ z z z ∂ L ∂ W = δ x ⊤ \frac{\partial L}{\partial W}=\delta x^\top ∂ W ∂ L = δ x ⊤ W ⊤ δ W^\top\delta W ⊤ δ 헤시안 H i j = ∂ 2 f ∂ x i ∂ x j H_{ij}=\frac{\partial^2f}{\partial x_i\partial x_j} H ij = ∂ x i ∂ x j ∂ 2 f 1 2 \frac12 2 1 f ( x 0 + h ) ≈ f ( x 0 ) + ∇ f ( x 0 ) h + 1 2 h ⊤ H ( x 0 ) h
\begin{aligned}
f(x_0+h)\approx{}&f(x_0)+\nabla f(x_0)\,h\\
&+\tfrac12h^\top H(x_0)\,h
\end{aligned}
f ( x 0 + h ) ≈ f ( x 0 ) + ∇ f ( x 0 ) h + 2 1 h ⊤ H ( x 0 ) h 정류점(기울기 0) 판정: H H H 2×2: det H < 0 \det H<0 det H < 0 det H > 0 \det H>0 det H > 0 tr H > 0 \text{tr}H>0 tr H > 0 tr H < 0 \text{tr}H<0 tr H < 0 6장 확률과 분포# 합 규칙 p ( x ) = ∫ p ( x , y ) d y p(x)=\int p(x,y)\,dy p ( x ) = ∫ p ( x , y ) d y p ( x , y ) = p ( y ∣ x ) p ( x ) p(x,y)=p(y\mid x)\,p(x) p ( x , y ) = p ( y ∣ x ) p ( x ) p ( x ∣ y ) = p ( y ∣ x ) p ( x ) p ( y ) p ( y ) = ∫ p ( y ∣ x ) p ( x ) d x
\begin{aligned}
p(x\mid y)&=\frac{p(y\mid x)\,p(x)}{p(y)}\\
p(y)&=\int p(y\mid x)\,p(x)\,dx
\end{aligned}
p ( x ∣ y ) p ( y ) = p ( y ) p ( y ∣ x ) p ( x ) = ∫ p ( y ∣ x ) p ( x ) d x 기댓값은 선형이다: E [ a X + b ] = a E [ X ] + b \mathbb E[aX+b]=a\mathbb E[X]+b E [ a X + b ] = a E [ X ] + b E [ X + Y ] = E [ X ] + E [ Y ] \mathbb E[X+Y]=\mathbb E[X]+\mathbb E[Y] E [ X + Y ] = E [ X ] + E [ Y ] 분산: V [ X ] = E [ X 2 ] − ( E [ X ] ) 2 \mathbb V[X]=\mathbb E[X^2]-(\mathbb E[X])^2 V [ X ] = E [ X 2 ] − ( E [ X ] ) 2 V [ a X + b ] = a 2 V [ X ] \mathbb V[aX+b]=a^2\mathbb V[X] V [ a X + b ] = a 2 V [ X ] 공분산: Cov [ X , Y ] = E [ X Y ] − E [ X ] E [ Y ] \text{Cov}[X,Y]=\mathbb E[XY]-\mathbb E[X]\mathbb E[Y] Cov [ X , Y ] = E [ X Y ] − E [ X ] E [ Y ] V [ X + Y ] = V [ X ] + V [ Y ] + 2 Cov [ X , Y ] \mathbb V[X+Y]=\mathbb V[X]+\mathbb V[Y]+2\,\text{Cov}[X,Y] V [ X + Y ] = V [ X ] + V [ Y ] + 2 Cov [ X , Y ] 독립이면 공분산이 0이다. 거꾸로는 성립하지 않는다(결합 가우시안이면 둘이 같은 말). 벡터: V [ x ] = E [ x x ⊤ ] − μ μ ⊤ \mathbb V[x]=\mathbb E[xx^\top]-\mu\mu^\top V [ x ] = E [ x x ⊤ ] − μ μ ⊤ V [ A x + b ] = A Σ A ⊤ \mathbb V[Ax+b]=A\Sigma A^\top V [ A x + b ] = A Σ A ⊤ 자주 쓰는 분포:베르누이 Ber ( μ ) \text{Ber}(\mu) Ber ( μ ) μ \mu μ μ ( 1 − μ ) \mu(1-\mu) μ ( 1 − μ ) 이항 Bin ( N , μ ) \text{Bin}(N,\mu) Bin ( N , μ ) p ( m ) = ( N m ) μ m ( 1 − μ ) N − m p(m)=\binom Nm\mu^m(1-\mu)^{N-m} p ( m ) = ( m N ) μ m ( 1 − μ ) N − m N μ N\mu N μ N μ ( 1 − μ ) N\mu(1-\mu) N μ ( 1 − μ ) 베타 Beta ( α , β ) ∝ μ α − 1 ( 1 − μ ) β − 1 \text{Beta}(\alpha,\beta)\propto\mu^{\alpha-1}(1-\mu)^{\beta-1} Beta ( α , β ) ∝ μ α − 1 ( 1 − μ ) β − 1 α α + β \frac{\alpha}{\alpha+\beta} α + β α α β ( α + β ) 2 ( α + β + 1 ) \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} ( α + β ) 2 ( α + β + 1 ) α β α − 1 α + β − 2 \frac{\alpha-1}{\alpha+\beta-2} α + β − 2 α − 1 α , β > 1 \alpha,\beta>1 α , β > 1 균등 U ( a , b ) \mathcal U(a,b) U ( a , b ) a + b 2 \frac{a+b}2 2 a + b ( b − a ) 2 12 \frac{(b-a)^2}{12} 12 ( b − a ) 2 지수분포(모수 λ \lambda λ p ( x ) = λ e − λ x p(x)=\lambda e^{-\lambda x} p ( x ) = λ e − λ x x ≥ 0 x\ge0 x ≥ 0 1 λ \frac1\lambda λ 1 1 λ 2 \frac1{\lambda^2} λ 2 1 가우시안 N ( μ , Σ ) \mathcal N(\mu,\Sigma) N ( μ , Σ ) p ( x ) = exp ( − 1 2 ( x − μ ) ⊤ Σ − 1 ( x − μ ) ) ( 2 π ) D / 2 ∣ Σ ∣ 1 / 2
p(x)=\frac{\exp\!\big(-\frac12(x-\mu)^\top\Sigma^{-1}(x-\mu)\big)}{(2\pi)^{D/2}\,|\Sigma|^{1/2}}
p ( x ) = ( 2 π ) D /2 ∣Σ ∣ 1/2 exp ( − 2 1 ( x − μ ) ⊤ Σ − 1 ( x − μ ) ) 가우시안 주변분포: 해당 블록만 떼어 온다. p ( x a ) = N ( μ a , Σ a a ) p(x_a)=\mathcal N(\mu_a,\Sigma_{aa}) p ( x a ) = N ( μ a , Σ aa ) 가우시안 조건부분포 p ( x a ∣ x b ) = N ( μ a ∣ b , Σ a ∣ b ) p(x_a\mid x_b)=\mathcal N(\mu_{a\mid b},\Sigma_{a\mid b}) p ( x a ∣ x b ) = N ( μ a ∣ b , Σ a ∣ b ) x b x_b x b Σ a a \Sigma_{aa} Σ aa μ a ∣ b = μ a + Σ a b Σ b b − 1 ( x b − μ b ) Σ a ∣ b = Σ a a − Σ a b Σ b b − 1 Σ b a
\begin{aligned}
\mu_{a\mid b}&=\mu_a+\Sigma_{ab}\Sigma_{bb}^{-1}(x_b-\mu_b)\\
\Sigma_{a\mid b}&=\Sigma_{aa}-\Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba}
\end{aligned}
μ a ∣ b Σ a ∣ b = μ a + Σ ab Σ bb − 1 ( x b − μ b ) = Σ aa − Σ ab Σ bb − 1 Σ ba 가우시안 선형변환: y = A x + b y=Ax+b y = A x + b y ∼ N ( A μ + b , A Σ A ⊤ ) y\sim\mathcal N(A\mu+b,\ A\Sigma A^\top) y ∼ N ( A μ + b , A Σ A ⊤ ) N ( μ x + μ y , Σ x + Σ y ) \mathcal N(\mu_x+\mu_y,\ \Sigma_x+\Sigma_y) N ( μ x + μ y , Σ x + Σ y ) 가우시안 밀도의 곱: N ( x ∣ a , A ) N ( x ∣ b , B ) = c N ( x ∣ c 0 , C ) \mathcal N(x\mid a,A)\,\mathcal N(x\mid b,B)=c\,\mathcal N(x\mid c_0,C) N ( x ∣ a , A ) N ( x ∣ b , B ) = c N ( x ∣ c 0 , C ) C = ( A − 1 + B − 1 ) − 1 C=(A^{-1}+B^{-1})^{-1} C = ( A − 1 + B − 1 ) − 1 c 0 = C ( A − 1 a + B − 1 b ) c_0=C(A^{-1}a+B^{-1}b) c 0 = C ( A − 1 a + B − 1 b ) c = N ( a ∣ b , A + B ) c=\mathcal N(a\mid b,A+B) c = N ( a ∣ b , A + B ) 켤레 사전분포:베타-이항: 사전 Beta ( α , β ) \text{Beta}(\alpha,\beta) Beta ( α , β ) N N N h h h Beta ( α + h , β + N − h ) \text{Beta}(\alpha+h,\ \beta+N-h) Beta ( α + h , β + N − h ) α , β \alpha,\beta α , β 가우시안 평균(잡음 분산 σ 2 \sigma^2 σ 2 N ( μ 0 , σ 0 2 ) \mathcal N(\mu_0,\sigma_0^2) N ( μ 0 , σ 0 2 ) 1 σ N 2 = 1 σ 0 2 + N σ 2 \frac1{\sigma_N^2}=\frac1{\sigma_0^2}+\frac N{\sigma^2} σ N 2 1 = σ 0 2 1 + σ 2 N μ N = σ N 2 ( μ 0 σ 0 2 + 1 σ 2 ∑ n x n ) \mu_N=\sigma_N^2\big(\frac{\mu_0}{\sigma_0^2}+\frac{1}{\sigma^2}\sum_nx_n\big) μ N = σ N 2 ( σ 0 2 μ 0 + σ 2 1 ∑ n x n ) 변수 변환(1차원, g g g p Y ( y ) = p X ( g − 1 ( y ) ) ∣ d d y g − 1 ( y ) ∣ p_Y(y)=p_X(g^{-1}(y))\left|\frac{d}{dy}g^{-1}(y)\right| p Y ( y ) = p X ( g − 1 ( y )) d y d g − 1 ( y ) ∣ det J ∣ |\det J| ∣ det J ∣ F Y ( y ) = P ( g ( X ) ≤ y ) F_Y(y)=P(g(X)\le y) F Y ( y ) = P ( g ( X ) ≤ y ) 지수족: p ( x ∣ θ ) = h ( x ) exp ( θ ⊤ ϕ ( x ) − A ( θ ) ) p(x\mid\theta)=h(x)\exp\big(\theta^\top\phi(x)-A(\theta)\big) p ( x ∣ θ ) = h ( x ) exp ( θ ⊤ ϕ ( x ) − A ( θ ) ) θ = log μ 1 − μ \theta=\log\frac{\mu}{1-\mu} θ = log 1 − μ μ ϕ ( x ) = x \phi(x)=x ϕ ( x ) = x A ( θ ) = log ( 1 + e θ ) A(\theta)=\log(1+e^\theta) A ( θ ) = log ( 1 + e θ ) 연속 확률변수에서 한 점의 확률은 0이고, 밀도 값은 1보다 클 수 있다. 7장 연속 최적화# 경사하강법: x t + 1 = x t − γ ( ∇ f ( x t ) ) ⊤ x_{t+1}=x_t-\gamma\,(\nabla f(x_t))^\top x t + 1 = x t − γ ( ∇ f ( x t ) ) ⊤ 1 2 x ⊤ A x − b ⊤ x \frac12x^\top Ax-b^\top x 2 1 x ⊤ A x − b ⊤ x ( 1 − γ λ i ) (1-\gamma\lambda_i) ( 1 − γ λ i ) 0 < γ < 2 λ max 0<\gamma<\frac2{\lambda_{\max}} 0 < γ < λ m a x 2 모멘텀(7.11~7.12): x t + 1 = x t − γ ( ∇ f ( x t ) ) ⊤ + α Δ x t x_{t+1}=x_t-\gamma(\nabla f(x_t))^\top+\alpha\,\Delta x_t x t + 1 = x t − γ ( ∇ f ( x t ) ) ⊤ + α Δ x t Δ x t = x t − x t − 1 \Delta x_t=x_t-x_{t-1} Δ x t = x t − x t − 1 확률적 경사하강법: 데이터 일부(미니배치)의 기울기로 갱신한다. 그 기댓값이 전체 기울기에 비례해 평균적으로 맞는 방향이고, 계산이 싸다. 제약 문제 min f ( x ) \min f(x) min f ( x ) g i ( x ) ≤ 0 g_i(x)\le0 g i ( x ) ≤ 0 라그랑지안 L ( x , λ ) = f ( x ) + ∑ i λ i g i ( x ) \mathfrak L(x,\lambda)=f(x)+\sum_i\lambda_ig_i(x) L ( x , λ ) = f ( x ) + ∑ i λ i g i ( x ) λ i ≥ 0 \lambda_i\ge0 λ i ≥ 0 g ≥ 0 g\ge0 g ≥ 0 ≤ 0 \le0 ≤ 0 쌍대 함수 D ( λ ) = min x L ( x , λ ) \mathfrak D(\lambda)=\min_x\mathfrak L(x,\lambda) D ( λ ) = min x L ( x , λ ) 언제나 오목 이다. 쌍대 문제는 max λ ≥ 0 D ( λ ) \max_{\lambda\ge0}\mathfrak D(\lambda) max λ ≥ 0 D ( λ ) 약쌍대성 d ∗ ≤ p ∗ d^*\le p^* d ∗ ≤ p ∗ d ∗ = p ∗ d^*=p^* d ∗ = p ∗ 손으로 푸는 순서: (1) L \mathfrak L L x x x x ( λ ) x(\lambda) x ( λ ) D ( λ ) \mathfrak D(\lambda) D ( λ ) λ ≥ 0 \lambda\ge0 λ ≥ 0 x ( λ ∗ ) x(\lambda^*) x ( λ ∗ ) p ∗ = d ∗ p^*=d^* p ∗ = d ∗ KKT 조건(교재 밖 보충, 교재는 12장 여백에서 이름만 언급): (1) ∇ x L = 0 \nabla_x\mathfrak L=0 ∇ x L = 0 g i ≤ 0 g_i\le0 g i ≤ 0 λ i ≥ 0 \lambda_i\ge0 λ i ≥ 0 λ i g i = 0 \lambda_ig_i=0 λ i g i = 0 (4)에서: g i < 0 g_i<0 g i < 0 λ i = 0 \lambda_i=0 λ i = 0 λ i > 0 \lambda_i>0 λ i > 0 g i = 0 g_i=0 g i = 0 g i = 0 g_i=0 g i = 0 λ i = 0 \lambda_i=0 λ i = 0 제약 없는 최소점이 조건을 어기면 그 조건은 꽉 낀다(g = 0 g=0 g = 0 볼록 함수:정의: f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta)y)\le\theta f(x)+(1-\theta)f(y) f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) 0 ≤ θ ≤ 1 0\le\theta\le1 0 ≤ θ ≤ 1 미분 가능하면 f ( y ) ≥ f ( x ) + ∇ f ( x ) ( y − x ) f(y)\ge f(x)+\nabla f(x)(y-x) f ( y ) ≥ f ( x ) + ∇ f ( x ) ( y − x ) 두 번 미분 가능하면 헤시안이 준정부호(1차원이면 f ′ ′ ≥ 0 f''\ge0 f ′′ ≥ 0 볼록을 지키는 연산: 음이 아닌 가중합, 점별 최댓값, 아핀 합성 f ( A x + b ) f(Ax+b) f ( A x + b ) 자주 쓰는 볼록 함수: x 2 x^2 x 2 e x e^x e x − log x -\log x − log x x log x x\log x x log x x > 0 x>0 x > 0 ∥ x ∥ \|x\| ∥ x ∥ max { 0 , 1 − t } \max\{0,1-t\} max { 0 , 1 − t } 볼록 함수를 볼록 집합에서 최소화하면 국소 최소 = 전역 최소. 젠센 부등식 f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb E[X])\le\mathbb E[f(X)] f ( E [ X ]) ≤ E [ f ( X )] 선형계획의 쌍대(예제 7.5): min x c ⊤ x \min_xc^\top x min x c ⊤ x A x ≤ b Ax\le b A x ≤ b max λ − b ⊤ λ \max_\lambda-b^\top\lambda max λ − b ⊤ λ c + A ⊤ λ = 0 c+A^\top\lambda=0 c + A ⊤ λ = 0 λ ≥ 0 \lambda\ge0 λ ≥ 0 2차 계획의 쌍대(Q Q Q min 1 2 x ⊤ Q x + c ⊤ x \min\frac12x^\top Qx+c^\top x min 2 1 x ⊤ Q x + c ⊤ x A x ≤ b Ax\le b A x ≤ b max λ ≥ 0 − 1 2 ( c + A ⊤ λ ) ⊤ Q − 1 ( c + A ⊤ λ ) − λ ⊤ b
\begin{aligned}
\max_{\lambda\ge0}\ &-\tfrac12(c+A^\top\lambda)^\top Q^{-1}(c+A^\top\lambda)\\
&-\lambda^\top b
\end{aligned}
λ ≥ 0 max − 2 1 ( c + A ⊤ λ ) ⊤ Q − 1 ( c + A ⊤ λ ) − λ ⊤ b 볼록 켤레(정의 7.4): f ∗ ( s ) = sup x ( s ⊤ x − f ( x ) ) f^*(s)=\sup_x\big(s^\top x-f(x)\big) f ∗ ( s ) = sup x ( s ⊤ x − f ( x ) ) f ( x ) = 1 2 x 2 f(x)=\frac12x^2 f ( x ) = 2 1 x 2 f ∗ ( s ) = 1 2 s 2 f^*(s)=\frac12s^2 f ∗ ( s ) = 2 1 s 2 4. 기초 AI 공식 (Part 2, 8~12장)# 8장 모델과 데이터# 경험적 위험 R emp = 1 N ∑ n ℓ ( y n , f ( x n , θ ) ) R_{\text{emp}}=\frac1N\sum_n\ell(y_n,f(x_n,\theta)) R emp = N 1 ∑ n ℓ ( y n , f ( x n , θ )) 과적합을 막는 법: 정규화(+ λ ∥ θ ∥ 2 +\lambda\|\theta\|^2 + λ ∥ θ ∥ 2 K K K K K K 매개변수 θ \theta θ λ \lambda λ K K K MLE: 음의 로그가능도 − ∑ n log p ( y n ∣ x n , θ ) -\sum_n\log p(y_n\mid x_n,\theta) − ∑ n log p ( y n ∣ x n , θ ) MAP: 위 식에 − log p ( θ ) -\log p(\theta) − log p ( θ ) N ( 0 , b 2 I ) \mathcal N(0,b^2I) N ( 0 , b 2 I ) λ = σ 2 / b 2 \lambda=\sigma^2/b^2 λ = σ 2 / b 2 MAP도 점추정이다. 베이즈 추론은 사후분포 전체를 쓰고, 예측을 ∫ p ( y ∗ ∣ x ∗ , θ ) p ( θ ∣ D ) d θ \int p(y_*\mid x_*,\theta)\,p(\theta\mid\mathcal D)\,d\theta ∫ p ( y ∗ ∣ x ∗ , θ ) p ( θ ∣ D ) d θ 잠재변수 모델: p ( x ∣ θ ) = ∫ p ( x ∣ z , θ ) p ( z ) d z p(x\mid\theta)=\int p(x\mid z,\theta)\,p(z)\,dz p ( x ∣ θ ) = ∫ p ( x ∣ z , θ ) p ( z ) d z 방향 그래프 모델의 인수분해: p ( x 1 , … , x K ) = ∏ k p ( x k ∣ Pa k ) p(x_1,\dots,x_K)=\prod_kp(x_k\mid\text{Pa}_k) p ( x 1 , … , x K ) = ∏ k p ( x k ∣ Pa k ) d-분리 세 모양:사슬 a → b → c a\to b\to c a → b → c a ← b → c a\leftarrow b\to c a ← b → c b b b b b b 알면 막힘 . 충돌 a → b ← c a\to b\leftarrow c a → b ← c b b b 막힘 , b b b a a a c c c b b b A A A B B B A ⊥ B ∣ C A\perp B\mid C A ⊥ B ∣ C 모델 선택: 증거(주변가능도) p ( D ∣ M ) = ∫ p ( D ∣ θ , M ) p ( θ ∣ M ) d θ p(\mathcal D\mid M)=\int p(\mathcal D\mid\theta,M)\,p(\theta\mid M)\,d\theta p ( D ∣ M ) = ∫ p ( D ∣ θ , M ) p ( θ ∣ M ) d θ 정보 기준(8.48~8.49, 클수록 좋다 ): AIC = log p ( x ∣ θ ) − M =\log p(x\mid\theta)-M = log p ( x ∣ θ ) − M = log p ( x ∣ θ ) − 1 2 M log N =\log p(x\mid\theta)-\frac12M\log N = log p ( x ∣ θ ) − 2 1 M log N M M M N N N N ≥ 8 N\ge8 N ≥ 8 9장 선형 회귀# 모델 y = Φ θ + ϵ y=\Phi\theta+\epsilon y = Φ θ + ϵ ϵ ∼ N ( 0 , σ 2 I ) \epsilon\sim\mathcal N(0,\sigma^2I) ϵ ∼ N ( 0 , σ 2 I ) Φ \Phi Φ N × K N\times K N × K n n n ϕ ( x n ) ⊤ \phi(x_n)^\top ϕ ( x n ) ⊤ θ \theta θ x x x MLE(9.19): 정규방정식 Φ ⊤ Φ θ = Φ ⊤ y \Phi^\top\Phi\theta=\Phi^\top y Φ ⊤ Φ θ = Φ ⊤ y θ ML = ( Φ ⊤ Φ ) − 1 Φ ⊤ y \theta_{\text{ML}}=(\Phi^\top\Phi)^{-1}\Phi^\top y θ ML = ( Φ ⊤ Φ ) − 1 Φ ⊤ y σ ML 2 = 1 N ∥ y − Φ θ ML ∥ 2 \sigma^2_{\text{ML}}=\frac1N\|y-\Phi\theta_{\text{ML}}\|^2 σ ML 2 = N 1 ∥ y − Φ θ ML ∥ 2 기하학적 뜻: y ^ = Φ θ ML \hat y=\Phi\theta_{\text{ML}} y ^ = Φ θ ML y y y Φ \Phi Φ Φ ⊤ ( y − y ^ ) = 0 \Phi^\top(y-\hat y)=0 Φ ⊤ ( y − y ^ ) = 0 MAP(9.31, 사전 N ( 0 , b 2 I ) \mathcal N(0,b^2I) N ( 0 , b 2 I ) θ MAP = ( Φ ⊤ Φ + σ 2 b 2 I ) − 1 Φ ⊤ y \theta_{\text{MAP}}=\big(\Phi^\top\Phi+\frac{\sigma^2}{b^2}I\big)^{-1}\Phi^\top y θ MAP = ( Φ ⊤ Φ + b 2 σ 2 I ) − 1 Φ ⊤ y 베이즈 선형회귀(9.43, 사전 N ( m 0 , S 0 ) \mathcal N(m_0,S_0) N ( m 0 , S 0 ) S N = ( S 0 − 1 + σ − 2 Φ ⊤ Φ ) − 1 m N = S N ( S 0 − 1 m 0 + σ − 2 Φ ⊤ y )
\begin{aligned}
S_N&=(S_0^{-1}+\sigma^{-2}\Phi^\top\Phi)^{-1}\\
m_N&=S_N(S_0^{-1}m_0+\sigma^{-2}\Phi^\top y)
\end{aligned}
S N m N = ( S 0 − 1 + σ − 2 Φ ⊤ Φ ) − 1 = S N ( S 0 − 1 m 0 + σ − 2 Φ ⊤ y ) 예측분포(9.57): p ( y ∗ ∣ x ∗ , D ) = N ( ϕ ∗ ⊤ m N , ϕ ∗ ⊤ S N ϕ ∗ + σ 2 ) p(y_*\mid x_*,\mathcal D)=\mathcal N\big(\phi_*^\top m_N,\ \phi_*^\top S_N\phi_*+\sigma^2\big) p ( y ∗ ∣ x ∗ , D ) = N ( ϕ ∗ ⊤ m N , ϕ ∗ ⊤ S N ϕ ∗ + σ 2 ) σ 2 \sigma^2 σ 2 주변가능도: p ( y ∣ X ) = N ( y ∣ Φ m 0 , Φ S 0 Φ ⊤ + σ 2 I ) p(y\mid X)=\mathcal N\big(y\mid\Phi m_0,\ \Phi S_0\Phi^\top+\sigma^2I\big) p ( y ∣ X ) = N ( y ∣ Φ m 0 , Φ S 0 Φ ⊤ + σ 2 I ) m 0 = 0 m_0=0 m 0 = 0 S 0 = b 2 I S_0=b^2I S 0 = b 2 I m N = θ MAP m_N=\theta_{\text{MAP}} m N = θ MAP 크기: Φ ⊤ Φ \Phi^\top\Phi Φ ⊤ Φ K × K K\times K K × K Φ ( Φ ⊤ Φ ) − 1 Φ ⊤ \Phi(\Phi^\top\Phi)^{-1}\Phi^\top Φ ( Φ ⊤ Φ ) − 1 Φ ⊤ N × N N\times N N × N K K K 데이터 수가 특징 수보다 적으면(N < K N<K N < K Φ ⊤ Φ \Phi^\top\Phi Φ ⊤ Φ 차수를 올리면 훈련 오차는 계속 줄지만 시험 오차는 어느 순간부터 커진다(과적합). 10장 PCA# 평균부터 뺀다. X = [ x 1 , … , x N ] X=[x_1,\dots,x_N] X = [ x 1 , … , x N ] D × N D\times N D × N S = 1 N X X ⊤ S=\frac1NXX^\top S = N 1 X X ⊤ D × D D\times D D × D 주성분 방향: S b = λ b Sb=\lambda b S b = λb ∥ b ∥ = 1 \|b\|=1 ∥ b ∥ = 1 λ \lambda λ M M M 좌표(인코딩) z n = B ⊤ ( x n − μ ) z_n=B^\top(x_n-\mu) z n = B ⊤ ( x n − μ ) M M M x ~ n = μ + B B ⊤ ( x n − μ ) \tilde x_n=\mu+BB^\top(x_n-\mu) x ~ n = μ + B B ⊤ ( x n − μ ) D D D 복원할 때 평균을 다시 더한다. 남긴 분산 ∑ m ≤ M λ m \sum_{m\le M}\lambda_m ∑ m ≤ M λ m J M = 1 N ∑ n ∥ x n − x ~ n ∥ 2 = ∑ j > M λ j J_M=\frac1N\sum_n\|x_n-\tilde x_n\|^2=\sum_{j>M}\lambda_j J M = N 1 ∑ n ∥ x n − x ~ n ∥ 2 = ∑ j > M λ j 버린 고유값의 합). 설명된 분산 비율은 ∑ m ≤ M λ m / tr S \sum_{m\le M}\lambda_m/\text{tr}\,S ∑ m ≤ M λ m / tr S SVD와의 관계: X = U Σ V ⊤ X=U\Sigma V^\top X = U Σ V ⊤ U U U λ d = σ d 2 / N \lambda_d=\sigma_d^2/N λ d = σ d 2 / N M M M U M Σ M V M ⊤ U_M\Sigma_MV_M^\top U M Σ M V M ⊤ M M M X X X N < D N<D N < D N × N N\times N N × N 1 N X ⊤ X c = λ c \frac1NX^\top Xc=\lambda c N 1 X ⊤ X c = λ c X c Xc X c S S S ∥ c ∥ = 1 \|c\|=1 ∥ c ∥ = 1 ∥ X c ∥ 2 = N λ \|Xc\|^2=N\lambda ∥ X c ∥ 2 = N λ b = X c N λ b=\frac{Xc}{\sqrt{N\lambda}} b = N λ X c PPCA: z ∼ N ( 0 , I ) z\sim\mathcal N(0,I) z ∼ N ( 0 , I ) x = B z + μ + ϵ x=Bz+\mu+\epsilon x = B z + μ + ϵ ϵ ∼ N ( 0 , σ 2 I ) \epsilon\sim\mathcal N(0,\sigma^2I) ϵ ∼ N ( 0 , σ 2 I ) 주변분포(10.70): p ( x ) = N ( μ , B B ⊤ + σ 2 I ) p(x)=\mathcal N(\mu,\ BB^\top+\sigma^2I) p ( x ) = N ( μ , B B ⊤ + σ 2 I ) 사후분포 p ( z ∣ x ) = N ( m , C ) p(z\mid x)=\mathcal N(m,C) p ( z ∣ x ) = N ( m , C ) m = B ⊤ ( B B ⊤ + σ 2 I ) − 1 ( x − μ ) m=B^\top(BB^\top+\sigma^2I)^{-1}(x-\mu) m = B ⊤ ( B B ⊤ + σ 2 I ) − 1 ( x − μ ) C = I − B ⊤ ( B B ⊤ + σ 2 I ) − 1 B C=I-B^\top(BB^\top+\sigma^2I)^{-1}B C = I − B ⊤ ( B B ⊤ + σ 2 I ) − 1 B 잡음의 최대가능도(10.79): σ ML 2 = 1 D − M ∑ j > M λ j \sigma^2_{\text{ML}}=\frac1{D-M}\sum_{j>M}\lambda_j σ ML 2 = D − M 1 ∑ j > M λ j 특징마다 단위가 다르면 표준화(각 특징을 표준편차로 나눔)부터 한다. 11장 GMM과 EM# 모델 p ( x ) = ∑ k π k N ( x ∣ μ k , Σ k ) p(x)=\sum_k\pi_k\mathcal N(x\mid\mu_k,\Sigma_k) p ( x ) = ∑ k π k N ( x ∣ μ k , Σ k ) π k ≥ 0 \pi_k\ge0 π k ≥ 0 ∑ k π k = 1 \sum_k\pi_k=1 ∑ k π k = 1 ∑ n log ∑ k π k N ( x n ∣ μ k , Σ k ) \sum_n\log\sum_k\pi_k\mathcal N(x_n\mid\mu_k,\Sigma_k) ∑ n log ∑ k π k N ( x n ∣ μ k , Σ k ) 책임도(11.17): r n k = π k N ( x n ∣ μ k , Σ k ) ∑ j π j N ( x n ∣ μ j , Σ j ) r_{nk}=\frac{\pi_k\mathcal N(x_n\mid\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal N(x_n\mid\mu_j,\Sigma_j)} r nk = ∑ j π j N ( x n ∣ μ j , Σ j ) π k N ( x n ∣ μ k , Σ k ) x n x_n x n k k k ∑ k r n k = 1 \sum_kr_{nk}=1 ∑ k r nk = 1 N k = ∑ n r n k N_k=\sum_nr_{nk} N k = ∑ n r nk k k k ∑ k N k = N \sum_kN_k=N ∑ k N k = N M 단계 갱신(정리 11.1~11.3):μ k = 1 N k ∑ n r n k x n \mu_k=\frac1{N_k}\sum_nr_{nk}x_n μ k = N k 1 ∑ n r nk x n Σ k = 1 N k ∑ n r n k ( x n − μ k ) ( x n − μ k ) ⊤ \Sigma_k=\frac1{N_k}\sum_nr_{nk}(x_n-\mu_k)(x_n-\mu_k)^\top Σ k = N k 1 ∑ n r nk ( x n − μ k ) ( x n − μ k ) ⊤ 새 μ k \mu_k μ k π k = N k N \pi_k=\frac{N_k}{N} π k = N N k EM: 초기값 → E 단계(r n k r_{nk} r nk μ → Σ → π \mu\to\Sigma\to\pi μ → Σ → π 잠재변수 관점: 원-핫 z z z p ( z k = 1 ) = π k p(z_k=1)=\pi_k p ( z k = 1 ) = π k p ( x ∣ z k = 1 ) = N ( x ∣ μ k , Σ k ) p(x\mid z_k=1)=\mathcal N(x\mid\mu_k,\Sigma_k) p ( x ∣ z k = 1 ) = N ( x ∣ μ k , Σ k ) 한 성분이 점 하나에 붙어 분산이 0으로 가면 가능도가 무한대가 된다. 공분산을 모두 σ 2 I \sigma^2I σ 2 I σ → 0 \sigma\to0 σ → 0 12장 SVM# 정답 y n ∈ { + 1 , − 1 } y_n\in\{+1,-1\} y n ∈ { + 1 , − 1 } ⟨ w , x ⟩ + b = 0 \langle w,x\rangle+b=0 ⟨ w , x ⟩ + b = 0 f ( x ) = ⟨ w , x ⟩ + b f(x)=\langle w,x\rangle+b f ( x ) = ⟨ w , x ⟩ + b w w w 점과 초평면 사이의 (부호 있는) 거리: ⟨ w , x ⟩ + b ∥ w ∥ \frac{\langle w,x\rangle+b}{\|w\|} ∥ w ∥ ⟨ w , x ⟩ + b 하드 마진(12.18): 가장 가까운 점에서 y n f ( x n ) = 1 y_nf(x_n)=1 y n f ( x n ) = 1 1 ∥ w ∥ \frac1{\|w\|} ∥ w ∥ 1 min w , b 1 2 ∥ w ∥ 2 s.t. y n ( ⟨ w , x n ⟩ + b ) ≥ 1
\min_{w,b}\ \tfrac12\|w\|^2\quad\text{s.t.}\quad y_n(\langle w,x_n\rangle+b)\ge1
w , b min 2 1 ∥ w ∥ 2 s.t. y n (⟨ w , x n ⟩ + b ) ≥ 1 소프트 마진(12.26a): 여유 변수 ξ n ≥ 0 \xi_n\ge0 ξ n ≥ 0 y n f ( x n ) ≥ 1 − ξ n y_nf(x_n)\ge1-\xi_n y n f ( x n ) ≥ 1 − ξ n 1 2 ∥ w ∥ 2 + C ∑ n ξ n \frac12\|w\|^2+C\sum_n\xi_n 2 1 ∥ w ∥ 2 + C ∑ n ξ n C C C 힌지 손실(12.31): ξ n = max { 0 , 1 − y n f ( x n ) } \xi_n=\max\{0,\ 1-y_nf(x_n)\} ξ n = max { 0 , 1 − y n f ( x n )} t = y f ( x ) t=yf(x) t = y f ( x ) t ≥ 1 t\ge1 t ≥ 1 t = 0.5 t=0.5 t = 0.5 t = − 1 t=-1 t = − 1 쌍대에서 쓰는 세 식: w = ∑ n α n y n x n w=\sum_n\alpha_ny_nx_n w = ∑ n α n y n x n ∑ n α n y n = 0 \sum_n\alpha_ny_n=0 ∑ n α n y n = 0 0 ≤ α n ≤ C 0\le\alpha_n\le C 0 ≤ α n ≤ C 쌍대 문제(12.41, 최소화 꼴), 조건은 ∑ i y i α i = 0 \sum_iy_i\alpha_i=0 ∑ i y i α i = 0 0 ≤ α i ≤ C 0\le\alpha_i\le C 0 ≤ α i ≤ C min α 1 2 ∑ i , j y i y j α i α j ⟨ x i , x j ⟩ − ∑ i α i
\begin{aligned}
\min_\alpha\ &\tfrac12\textstyle\sum_{i,j}y_iy_j\alpha_i\alpha_j\langle x_i,x_j\rangle\\
&-\textstyle\sum_i\alpha_i
\end{aligned}
α min 2 1 ∑ i , j y i y j α i α j ⟨ x i , x j ⟩ − ∑ i α i α n \alpha_n α n α n = 0 \alpha_n=0 α n = 0 y n f ( x n ) ≥ 1 y_nf(x_n)\ge1 y n f ( x n ) ≥ 1 w w w 0 < α n < C 0<\alpha_n<C 0 < α n < C y n f ( x n ) = 1 y_nf(x_n)=1 y n f ( x n ) = 1 b = y n − ⟨ w , x n ⟩ b=y_n-\langle w,x_n\rangle b = y n − ⟨ w , x n ⟩ α n = C \alpha_n=C α n = C y n f ( x n ) ≤ 1 y_nf(x_n)\le1 y n f ( x n ) ≤ 1 α n > 0 \alpha_n>0 α n > 0 α n = 0 \alpha_n=0 α n = 0 커널: 쌍대에는 내적만 들어가므로 ⟨ x i , x j ⟩ \langle x_i,x_j\rangle ⟨ x i , x j ⟩ k ( x i , x j ) = ⟨ ϕ ( x i ) , ϕ ( x j ) ⟩ k(x_i,x_j)=\langle\phi(x_i),\phi(x_j)\rangle k ( x i , x j ) = ⟨ ϕ ( x i ) , ϕ ( x j )⟩ ( x ⊤ y ) 2 (x^\top y)^2 ( x ⊤ y ) 2 ϕ ( x ) = [ x 1 2 , 2 x 1 x 2 , x 2 2 ] \phi(x)=[x_1^2,\ \sqrt2x_1x_2,\ x_2^2] ϕ ( x ) = [ x 1 2 , 2 x 1 x 2 , x 2 2 ] k ( x , y ) = exp ( − ∥ x − y ∥ 2 2 ℓ 2 ) k(x,y)=\exp\big(-\frac{\|x-y\|^2}{2\ell^2}\big) k ( x , y ) = exp ( − 2 ℓ 2 ∥ x − y ∥ 2 ) 유효한 커널: 대칭이고, 어떤 데이터에서도 그람 행렬 K i j = k ( x i , x j ) K_{ij}=k(x_i,x_j) K ij = k ( x i , x j ) f ( x ) = ∑ n α n y n k ( x n , x ) + b f(x)=\sum_n\alpha_ny_nk(x_n,x)+b f ( x ) = ∑ n α n y n k ( x n , x ) + b SVM은 확률이나 불확실성을 내지 않는다. 5. 증명·유도 뼈대# 답안에 이 순서 그대로 쓰면 된다. 단계별 설명이 더 필요하면 해당 장을 다시 본다.
5.1 분산 공식# μ = E [ X ] \mu=\mathbb E[X] μ = E [ X ]
V [ X ] = E [ ( X − μ ) 2 ] = E [ X 2 ] − 2 μ E [ X ] + μ 2 = E [ X 2 ] − μ 2
\begin{aligned}
\mathbb V[X]&=\mathbb E[(X-\mu)^2]\\
&=\mathbb E[X^2]-2\mu\,\mathbb E[X]+\mu^2\\
&=\mathbb E[X^2]-\mu^2
\end{aligned}
V [ X ] = E [( X − μ ) 2 ] = E [ X 2 ] − 2 μ E [ X ] + μ 2 = E [ X 2 ] − μ 2 따름 결과: V [ X ] ≥ 0 \mathbb V[X]\ge0 V [ X ] ≥ 0 E [ X 2 ] ≥ ( E [ X ] ) 2 \mathbb E[X^2]\ge(\mathbb E[X])^2 E [ X 2 ] ≥ ( E [ X ] ) 2 벡터판도 같은 전개다: V [ x ] = E [ x x ⊤ ] − μ μ ⊤ \mathbb V[x]=\mathbb E[xx^\top]-\mu\mu^\top V [ x ] = E [ x x ⊤ ] − μ μ ⊤ 선형변환: y = A x + b y=Ax+b y = A x + b y − E [ y ] = A ( x − μ ) y-\mathbb E[y]=A(x-\mu) y − E [ y ] = A ( x − μ ) A A A V [ y ] = A E [ ( x − μ ) ( x − μ ) ⊤ ] A ⊤ = A Σ A ⊤ \mathbb V[y]=A\,\mathbb E[(x-\mu)(x-\mu)^\top]A^\top=A\Sigma A^\top V [ y ] = A E [( x − μ ) ( x − μ ) ⊤ ] A ⊤ = A Σ A ⊤ 독립이면 분산이 더해진다: 교차항 E [ ( X − μ X ) ( Y − μ Y ) ] = E [ X − μ X ] E [ Y − μ Y ] = 0 \mathbb E[(X-\mu_X)(Y-\mu_Y)]=\mathbb E[X-\mu_X]\,\mathbb E[Y-\mu_Y]=0 E [( X − μ X ) ( Y − μ Y )] = E [ X − μ X ] E [ Y − μ Y ] = 0 5.2 이항분포의 평균과 분산# X = ∑ i = 1 N B i X=\sum_{i=1}^NB_i X = ∑ i = 1 N B i B i ∼ Ber ( μ ) B_i\sim\text{Ber}(\mu) B i ∼ Ber ( μ )
E [ B i ] = 1 ⋅ μ + 0 ⋅ ( 1 − μ ) = μ \mathbb E[B_i]=1\cdot\mu+0\cdot(1-\mu)=\mu E [ B i ] = 1 ⋅ μ + 0 ⋅ ( 1 − μ ) = μ B i B_i B i B i 2 = B i B_i^2=B_i B i 2 = B i E [ B i 2 ] = μ \mathbb E[B_i^2]=\mu E [ B i 2 ] = μ V [ B i ] = μ − μ 2 = μ ( 1 − μ ) \mathbb V[B_i]=\mu-\mu^2=\mu(1-\mu) V [ B i ] = μ − μ 2 = μ ( 1 − μ ) 기댓값의 선형성으로 E [ X ] = N μ \mathbb E[X]=N\mu E [ X ] = N μ 독립이라 분산이 더해지므로 V [ X ] = N μ ( 1 − μ ) \mathbb V[X]=N\mu(1-\mu) V [ X ] = N μ ( 1 − μ ) 5.3 대칭행렬: 고유값은 실수, 고유벡터는 직교# (a) 고유값이 실수다. A x = λ x Ax=\lambda x A x = λ x x ≠ 0 x\ne0 x = 0 λ \lambda λ x x x x ˉ \bar x x ˉ
왼쪽에 x ˉ ⊤ \bar x^\top x ˉ ⊤ x ˉ ⊤ A x = λ x ˉ ⊤ x \bar x^\top Ax=\lambda\,\bar x^\top x x ˉ ⊤ A x = λ x ˉ ⊤ x x ˉ ⊤ x = ∑ i ∣ x i ∣ 2 > 0 \bar x^\top x=\sum_i|x_i|^2>0 x ˉ ⊤ x = ∑ i ∣ x i ∣ 2 > 0 s = x ˉ ⊤ A x s=\bar x^\top Ax s = x ˉ ⊤ A x A A A s ˉ = x ⊤ A x ˉ \bar s=x^\top A\bar x s ˉ = x ⊤ A x ˉ 1 × 1 1\times1 1 × 1 s ˉ = ( x ⊤ A x ˉ ) ⊤ = x ˉ ⊤ A ⊤ x = x ˉ ⊤ A x = s \bar s=(x^\top A\bar x)^\top=\bar x^\top A^\top x=\bar x^\top Ax=s s ˉ = ( x ⊤ A x ˉ ) ⊤ = x ˉ ⊤ A ⊤ x = x ˉ ⊤ A x = s A ⊤ = A A^\top=A A ⊤ = A s s s λ = s / ( x ˉ ⊤ x ) \lambda=s/(\bar x^\top x) λ = s / ( x ˉ ⊤ x ) (b) 서로 다른 고유값의 고유벡터는 직교한다. A x = λ 1 x Ax=\lambda_1x A x = λ 1 x A y = λ 2 y Ay=\lambda_2y A y = λ 2 y λ 1 ≠ λ 2 \lambda_1\ne\lambda_2 λ 1 = λ 2
λ 1 x ⊤ y = ( A x ) ⊤ y = x ⊤ A ⊤ y = x ⊤ A y = λ 2 x ⊤ y
\begin{aligned}
\lambda_1x^\top y&=(Ax)^\top y=x^\top A^\top y\\
&=x^\top Ay=\lambda_2x^\top y
\end{aligned}
λ 1 x ⊤ y = ( A x ) ⊤ y = x ⊤ A ⊤ y = x ⊤ A y = λ 2 x ⊤ y 따라서 ( λ 1 − λ 2 ) x ⊤ y = 0 (\lambda_1-\lambda_2)\,x^\top y=0 ( λ 1 − λ 2 ) x ⊤ y = 0 λ 1 ≠ λ 2 \lambda_1\ne\lambda_2 λ 1 = λ 2 x ⊤ y = 0 x^\top y=0 x ⊤ y = 0
5.4 직교행렬과 회전행렬# 직교행렬 Q ⊤ Q = I Q^\top Q=I Q ⊤ Q = I
길이 보존: ∥ Q x ∥ 2 = x ⊤ Q ⊤ Q x = x ⊤ x = ∥ x ∥ 2 \|Qx\|^2=x^\top Q^\top Qx=x^\top x=\|x\|^2 ∥ Q x ∥ 2 = x ⊤ Q ⊤ Q x = x ⊤ x = ∥ x ∥ 2 ⟨ Q x , Q y ⟩ = ⟨ x , y ⟩ \langle Qx,Qy\rangle=\langle x,y\rangle ⟨ Q x , Q y ⟩ = ⟨ x , y ⟩ det ( Q ) 2 = det ( Q ⊤ ) det ( Q ) = det ( Q ⊤ Q ) = 1 \det(Q)^2=\det(Q^\top)\det(Q)=\det(Q^\top Q)=1 det ( Q ) 2 = det ( Q ⊤ ) det ( Q ) = det ( Q ⊤ Q ) = 1 det Q = ± 1 \det Q=\pm1 det Q = ± 1 Q x = λ x Qx=\lambda x Q x = λ x ∥ x ∥ = ∥ Q x ∥ = ∣ λ ∣ ∥ x ∥ \|x\|=\|Qx\|=|\lambda|\,\|x\| ∥ x ∥ = ∥ Q x ∥ = ∣ λ ∣ ∥ x ∥ ∣ λ ∣ = 1 |\lambda|=1 ∣ λ ∣ = 1 회전행렬 R ( θ ) R(\theta) R ( θ ) c = cos θ c=\cos\theta c = cos θ s = sin θ s=\sin\theta s = sin θ
R ⊤ R = [ c s − s c ] [ c − s s c ] = [ c 2 + s 2 − c s + s c − s c + c s s 2 + c 2 ] = I
\begin{aligned}
R^\top R&=\begin{bmatrix}c&s\\-s&c\end{bmatrix}\begin{bmatrix}c&-s\\s&c\end{bmatrix}\\
&=\begin{bmatrix}c^2+s^2&-cs+sc\\-sc+cs&s^2+c^2\end{bmatrix}=I
\end{aligned}
R ⊤ R = [ c − s s c ] [ c s − s c ] = [ c 2 + s 2 − sc + cs − cs + sc s 2 + c 2 ] = I det R = c 2 + s 2 = 1 \det R=c^2+s^2=1 det R = c 2 + s 2 = 1 R ( α ) R ( β ) R(\alpha)R(\beta) R ( α ) R ( β ) cos α cos β − sin α sin β = cos ( α + β ) \cos\alpha\cos\beta-\sin\alpha\sin\beta=\cos(\alpha+\beta) cos α cos β − sin α sin β = cos ( α + β ) sin α cos β + cos α sin β = sin ( α + β ) \sin\alpha\cos\beta+\cos\alpha\sin\beta=\sin(\alpha+\beta) sin α cos β + cos α sin β = sin ( α + β ) R ( α + β ) R(\alpha+\beta) R ( α + β ) 고유값: det ( R − λ I ) = ( c − λ ) 2 + s 2 = λ 2 − 2 c λ + 1 = 0 \det(R-\lambda I)=(c-\lambda)^2+s^2=\lambda^2-2c\lambda+1=0 det ( R − λ I ) = ( c − λ ) 2 + s 2 = λ 2 − 2 c λ + 1 = 0 λ = cos θ ± i sin θ \lambda=\cos\theta\pm i\sin\theta λ = cos θ ± i sin θ θ ≠ 0 , π \theta\ne0,\pi θ = 0 , π 5.5 A ⊤ A A^\top A A ⊤ A # A ⊤ A A^\top A A ⊤ A ( A ⊤ A ) ⊤ = A ⊤ A (A^\top A)^\top=A^\top A ( A ⊤ A ) ⊤ = A ⊤ A x ⊤ A ⊤ A x = ∥ A x ∥ 2 ≥ 0 x^\top A^\top Ax=\|Ax\|^2\ge0 x ⊤ A ⊤ A x = ∥ A x ∥ 2 ≥ 0 ker ( A ⊤ A ) = ker A \ker(A^\top A)=\ker A ker ( A ⊤ A ) = ker A A x = 0 Ax=0 A x = 0 A ⊤ A x = 0 A^\top Ax=0 A ⊤ A x = 0 A ⊤ A x = 0 A^\top Ax=0 A ⊤ A x = 0 x ⊤ A ⊤ A x = ∥ A x ∥ 2 = 0 x^\top A^\top Ax=\|Ax\|^2=0 x ⊤ A ⊤ A x = ∥ A x ∥ 2 = 0 A x = 0 Ax=0 A x = 0 rk ( A ⊤ A ) = rk ( A ) \text{rk}(A^\top A)=\text{rk}(A) rk ( A ⊤ A ) = rk ( A ) A A A A ⊤ A A^\top A A ⊤ A P = B ( B ⊤ B ) − 1 B ⊤ P=B(B^\top B)^{-1}B^\top P = B ( B ⊤ B ) − 1 B ⊤ P 2 = B ( B ⊤ B ) − 1 ( B ⊤ B ) ( B ⊤ B ) − 1 B ⊤ = P P^2=B(B^\top B)^{-1}(B^\top B)(B^\top B)^{-1}B^\top=P P 2 = B ( B ⊤ B ) − 1 ( B ⊤ B ) ( B ⊤ B ) − 1 B ⊤ = P B ⊤ B B^\top B B ⊤ B P ⊤ = P P^\top=P P ⊤ = P 오차가 직교: B ⊤ ( x − P x ) = B ⊤ x − B ⊤ x = 0 B^\top(x-Px)=B^\top x-B^\top x=0 B ⊤ ( x − P x ) = B ⊤ x − B ⊤ x = 0 5.6 볼록성 증명# 정의로 보이기. f ( x ) = ∥ x ∥ f(x)=\|x\| f ( x ) = ∥ x ∥ ∥ c x ∥ = ∣ c ∣ ∥ x ∥ \|cx\|=|c|\,\|x\| ∥ c x ∥ = ∣ c ∣ ∥ x ∥ ∥ θ x + ( 1 − θ ) y ∥ ≤ θ ∥ x ∥ + ( 1 − θ ) ∥ y ∥ \|\theta x+(1-\theta)y\|\le\theta\|x\|+(1-\theta)\|y\| ∥ θ x + ( 1 − θ ) y ∥ ≤ θ ∥ x ∥ + ( 1 − θ ) ∥ y ∥ 0 ≤ θ ≤ 1 0\le\theta\le1 0 ≤ θ ≤ 1 헤시안으로 보이기. f ( x ) = x ⊤ A x + b ⊤ x f(x)=x^\top Ax+b^\top x f ( x ) = x ⊤ A x + b ⊤ x A + A ⊤ A+A^\top A + A ⊤ ∥ y − Φ θ ∥ 2 \|y-\Phi\theta\|^2 ∥ y − Φ θ ∥ 2 2 Φ ⊤ Φ 2\Phi^\top\Phi 2 Φ ⊤ Φ 합도 볼록. f , g f,g f , g a , b ≥ 0 a,b\ge0 a , b ≥ 0 a , b a,b a , b a f + b g af+bg a f + b g 볼록이면 국소 최소 = 전역 최소. x ∗ x^* x ∗ f ( y ) < f ( x ∗ ) f(y)<f(x^*) f ( y ) < f ( x ∗ ) y y y z θ = θ y + ( 1 − θ ) x ∗ z_\theta=\theta y+(1-\theta)x^* z θ = θ y + ( 1 − θ ) x ∗ 0 < θ ≤ 1 0<\theta\le1 0 < θ ≤ 1 f ( z θ ) ≤ θ f ( y ) + ( 1 − θ ) f ( x ∗ ) < f ( x ∗ ) f(z_\theta)\le\theta f(y)+(1-\theta)f(x^*)<f(x^*) f ( z θ ) ≤ θ f ( y ) + ( 1 − θ ) f ( x ∗ ) < f ( x ∗ ) θ → 0 \theta\to0 θ → 0 z θ z_\theta z θ x ∗ x^* x ∗ 젠센으로 푸는 확률 부등식. f f f f ( E [ X ] ) ≤ E [ f ( X ) ] f(\mathbb E[X])\le\mathbb E[f(X)] f ( E [ X ]) ≤ E [ f ( X )] x 2 x^2 x 2 ( E [ X ] ) 2 ≤ E [ X 2 ] (\mathbb E[X])^2\le\mathbb E[X^2] ( E [ X ] ) 2 ≤ E [ X 2 ] − log x -\log x − log x ( − log x ) ′ ′ = 1 / x 2 > 0 (-\log x)''=1/x^2>0 ( − log x ) ′′ = 1/ x 2 > 0 − log E [ X ] ≤ − E [ log X ] -\log\mathbb E[X]\le-\mathbb E[\log X] − log E [ X ] ≤ − E [ log X ] E [ log X ] ≤ log E [ X ] \mathbb E[\log X]\le\log\mathbb E[X] E [ log X ] ≤ log E [ X ] 오목 함수는 부등호가 반대다. 쌍대 함수는 오목. 각 x x x L ( x , λ ) \mathfrak L(x,\lambda) L ( x , λ ) λ \lambda λ λ = θ λ 1 + ( 1 − θ ) λ 2 \lambda=\theta\lambda_1+(1-\theta)\lambda_2 λ = θ λ 1 + ( 1 − θ ) λ 2 L ( x , λ ) = θ L ( x , λ 1 ) + ( 1 − θ ) L ( x , λ 2 ) ≥ θ D ( λ 1 ) + ( 1 − θ ) D ( λ 2 ) \mathfrak L(x,\lambda)=\theta\mathfrak L(x,\lambda_1)+(1-\theta)\mathfrak L(x,\lambda_2)\ge\theta\mathfrak D(\lambda_1)+(1-\theta)\mathfrak D(\lambda_2) L ( x , λ ) = θ L ( x , λ 1 ) + ( 1 − θ ) L ( x , λ 2 ) ≥ θ D ( λ 1 ) + ( 1 − θ ) D ( λ 2 ) x x x D ( λ ) ≥ θ D ( λ 1 ) + ( 1 − θ ) D ( λ 2 ) \mathfrak D(\lambda)\ge\theta\mathfrak D(\lambda_1)+(1-\theta)\mathfrak D(\lambda_2) D ( λ ) ≥ θ D ( λ 1 ) + ( 1 − θ ) D ( λ 2 ) 5.7 약쌍대성 d ∗ ≤ p ∗ d^*\le p^* d ∗ ≤ p ∗ # 조건을 지키는 아무 x x x λ ≥ 0 \lambda\ge0 λ ≥ 0
D ( λ ) = min x ′ L ( x ′ , λ ) ≤ L ( x , λ ) = f ( x ) + ∑ i λ i g i ( x ) ≤ f ( x )
\begin{aligned}
\mathfrak D(\lambda)&=\min_{x'}\mathfrak L(x',\lambda)\le\mathfrak L(x,\lambda)\\
&=f(x)+\textstyle\sum_i\lambda_ig_i(x)\le f(x)
\end{aligned}
D ( λ ) = x ′ min L ( x ′ , λ ) ≤ L ( x , λ ) = f ( x ) + ∑ i λ i g i ( x ) ≤ f ( x ) 마지막 부등호는 λ i ≥ 0 \lambda_i\ge0 λ i ≥ 0 g i ( x ) ≤ 0 g_i(x)\le0 g i ( x ) ≤ 0 x x x D ( λ ) ≤ p ∗ \mathfrak D(\lambda)\le p^* D ( λ ) ≤ p ∗ λ ≥ 0 \lambda\ge0 λ ≥ 0 d ∗ ≤ p ∗ d^*\le p^* d ∗ ≤ p ∗
5.8 가우시안 잡음 MLE = 최소제곱, 가우시안 사전 MAP = 릿지# y n ∼ N ( f ( x n , θ ) , σ 2 ) y_n\sim\mathcal N(f(x_n,\theta),\sigma^2) y n ∼ N ( f ( x n , θ ) , σ 2 ) − log p ( y n ∣ x n , θ ) = ( y n − f ( x n , θ ) ) 2 2 σ 2 + 1 2 log ( 2 π σ 2 ) -\log p(y_n\mid x_n,\theta)=\frac{(y_n-f(x_n,\theta))^2}{2\sigma^2}+\frac12\log(2\pi\sigma^2) − log p ( y n ∣ x n , θ ) = 2 σ 2 ( y n − f ( x n , θ ) ) 2 + 2 1 log ( 2 π σ 2 ) n n n 1 2 σ 2 ∑ n ( y n − f ( x n , θ ) ) 2 + N 2 log ( 2 π σ 2 ) \frac1{2\sigma^2}\sum_n(y_n-f(x_n,\theta))^2+\frac N2\log(2\pi\sigma^2) 2 σ 2 1 ∑ n ( y n − f ( x n , θ ) ) 2 + 2 N log ( 2 π σ 2 ) θ \theta θ 1 2 σ 2 > 0 \frac1{2\sigma^2}>0 2 σ 2 1 > 0 MAP는 − log p ( θ ) -\log p(\theta) − log p ( θ ) p ( θ ) = N ( 0 , b 2 I ) p(\theta)=\mathcal N(0,b^2I) p ( θ ) = N ( 0 , b 2 I ) − log p ( θ ) = 1 2 b 2 ∥ θ ∥ 2 + 상수 -\log p(\theta)=\frac1{2b^2}\|\theta\|^2+\text{상수} − log p ( θ ) = 2 b 2 1 ∥ θ ∥ 2 + 상수 전체에 2 σ 2 2\sigma^2 2 σ 2 ∑ n ( y n − f ) 2 + σ 2 b 2 ∥ θ ∥ 2 \sum_n(y_n-f)^2+\frac{\sigma^2}{b^2}\|\theta\|^2 ∑ n ( y n − f ) 2 + b 2 σ 2 ∥ θ ∥ 2 λ = σ 2 / b 2 \lambda=\sigma^2/b^2 λ = σ 2 / b 2 5.9 정규방정식, 릿지, 베이즈 회귀# 정규방정식. d d θ ∥ y − Φ θ ∥ 2 = − 2 ( y − Φ θ ) ⊤ Φ = 0 ⊤ \frac{d}{d\theta}\|y-\Phi\theta\|^2=-2(y-\Phi\theta)^\top\Phi=0^\top d θ d ∥ y − Φ θ ∥ 2 = − 2 ( y − Φ θ ) ⊤ Φ = 0 ⊤ Φ ⊤ Φ θ = Φ ⊤ y \Phi^\top\Phi\theta=\Phi^\top y Φ ⊤ Φ θ = Φ ⊤ y 잡음 분산. L = N 2 log σ 2 + S 2 σ 2 + 상수 \mathcal L=\frac N2\log\sigma^2+\frac{S}{2\sigma^2}+\text{상수} L = 2 N log σ 2 + 2 σ 2 S + 상수 S = ∥ y − Φ θ ML ∥ 2 S=\|y-\Phi\theta_{\text{ML}}\|^2 S = ∥ y − Φ θ ML ∥ 2 σ 2 \sigma^2 σ 2 N 2 σ 2 − S 2 σ 4 = 0 \frac N{2\sigma^2}-\frac S{2\sigma^4}=0 2 σ 2 N − 2 σ 4 S = 0 σ 2 = S N \sigma^2=\frac SN σ 2 = N S 릿지. ∥ y − Φ θ ∥ 2 + λ ∥ θ ∥ 2 \|y-\Phi\theta\|^2+\lambda\|\theta\|^2 ∥ y − Φ θ ∥ 2 + λ ∥ θ ∥ 2 2 λ θ ⊤ 2\lambda\theta^\top 2 λ θ ⊤ ( Φ ⊤ Φ + λ I ) θ = Φ ⊤ y (\Phi^\top\Phi+\lambda I)\theta=\Phi^\top y ( Φ ⊤ Φ + λ I ) θ = Φ ⊤ y v ≠ 0 v\ne0 v = 0 v ⊤ ( Φ ⊤ Φ + λ I ) v = ∥ Φ v ∥ 2 + λ ∥ v ∥ 2 > 0 v^\top(\Phi^\top\Phi+\lambda I)v=\|\Phi v\|^2+\lambda\|v\|^2>0 v ⊤ ( Φ ⊤ Φ + λ I ) v = ∥Φ v ∥ 2 + λ ∥ v ∥ 2 > 0 베이즈 사후분포. 로그 사후 = − 1 2 σ 2 ∥ y − Φ θ ∥ 2 − 1 2 ( θ − m 0 ) ⊤ S 0 − 1 ( θ − m 0 ) + 상수 =-\frac1{2\sigma^2}\|y-\Phi\theta\|^2-\frac12(\theta-m_0)^\top S_0^{-1}(\theta-m_0)+\text{상수} = − 2 σ 2 1 ∥ y − Φ θ ∥ 2 − 2 1 ( θ − m 0 ) ⊤ S 0 − 1 ( θ − m 0 ) + 상수 θ \theta θ − 1 2 θ ⊤ ( σ − 2 Φ ⊤ Φ + S 0 − 1 ) θ + θ ⊤ ( σ − 2 Φ ⊤ y + S 0 − 1 m 0 ) -\frac12\theta^\top(\sigma^{-2}\Phi^\top\Phi+S_0^{-1})\theta+\theta^\top(\sigma^{-2}\Phi^\top y+S_0^{-1}m_0) − 2 1 θ ⊤ ( σ − 2 Φ ⊤ Φ + S 0 − 1 ) θ + θ ⊤ ( σ − 2 Φ ⊤ y + S 0 − 1 m 0 ) − 1 2 θ ⊤ S N − 1 θ + θ ⊤ S N − 1 m N -\frac12\theta^\top S_N^{-1}\theta+\theta^\top S_N^{-1}m_N − 2 1 θ ⊤ S N − 1 θ + θ ⊤ S N − 1 m N S N − 1 = S 0 − 1 + σ − 2 Φ ⊤ Φ S_N^{-1}=S_0^{-1}+\sigma^{-2}\Phi^\top\Phi S N − 1 = S 0 − 1 + σ − 2 Φ ⊤ Φ S N − 1 m N = S 0 − 1 m 0 + σ − 2 Φ ⊤ y S_N^{-1}m_N=S_0^{-1}m_0+\sigma^{-2}\Phi^\top y S N − 1 m N = S 0 − 1 m 0 + σ − 2 Φ ⊤ y 예측분포. ϕ ∗ ⊤ θ ∼ N ( ϕ ∗ ⊤ m N , ϕ ∗ ⊤ S N ϕ ∗ ) \phi_*^\top\theta\sim\mathcal N(\phi_*^\top m_N,\ \phi_*^\top S_N\phi_*) ϕ ∗ ⊤ θ ∼ N ( ϕ ∗ ⊤ m N , ϕ ∗ ⊤ S N ϕ ∗ ) ϵ \epsilon ϵ σ 2 \sigma^2 σ 2 5.10 PCA: 분산 최대화 → 고유벡터# 중심화된 데이터에서 방향 b b b 1 N ∑ n ( b ⊤ x n ) 2 = b ⊤ ( 1 N ∑ n x n x n ⊤ ) b = b ⊤ S b \frac1N\sum_n(b^\top x_n)^2=b^\top\big(\frac1N\sum_nx_nx_n^\top\big)b=b^\top Sb N 1 ∑ n ( b ⊤ x n ) 2 = b ⊤ ( N 1 ∑ n x n x n ⊤ ) b = b ⊤ S b b b b b ⊤ b = 1 b^\top b=1 b ⊤ b = 1 b ⊤ S b + λ ( 1 − b ⊤ b ) b^\top Sb+\lambda(1-b^\top b) b ⊤ S b + λ ( 1 − b ⊤ b ) b b b 2 b ⊤ S − 2 λ b ⊤ = 0 2b^\top S-2\lambda b^\top=0 2 b ⊤ S − 2 λ b ⊤ = 0 S S S S b = λ b Sb=\lambda b S b = λb 이때 분산은 b ⊤ S b = λ b ⊤ b = λ b^\top Sb=\lambda b^\top b=\lambda b ⊤ S b = λ b ⊤ b = λ m m m m m m 재구성 오차: 고유벡터 전체로 x n = ∑ d ( b d ⊤ x n ) b d x_n=\sum_d(b_d^\top x_n)b_d x n = ∑ d ( b d ⊤ x n ) b d x n − x ~ n = ∑ j > M ( b j ⊤ x n ) b j x_n-\tilde x_n=\sum_{j>M}(b_j^\top x_n)b_j x n − x ~ n = ∑ j > M ( b j ⊤ x n ) b j ∥ x n − x ~ n ∥ 2 = ∑ j > M ( b j ⊤ x n ) 2 \|x_n-\tilde x_n\|^2=\sum_{j>M}(b_j^\top x_n)^2 ∥ x n − x ~ n ∥ 2 = ∑ j > M ( b j ⊤ x n ) 2 ∑ j > M b j ⊤ S b j = ∑ j > M λ j \sum_{j>M}b_j^\top Sb_j=\sum_{j>M}\lambda_j ∑ j > M b j ⊤ S b j = ∑ j > M λ j 5.11 GMM 갱신식# 평균. ∂ ∂ μ k log ∑ j π j N j \frac{\partial}{\partial\mu_k}\log\sum_j\pi_j\mathcal N_j ∂ μ k ∂ log ∑ j π j N j j = k j=k j = k ∂ ∂ μ k N ( x n ∣ μ k , Σ k ) = N ( x n ∣ μ k , Σ k ) ( x n − μ k ) ⊤ Σ k − 1 \frac{\partial}{\partial\mu_k}\mathcal N(x_n\mid\mu_k,\Sigma_k)=\mathcal N(x_n\mid\mu_k,\Sigma_k)(x_n-\mu_k)^\top\Sigma_k^{-1} ∂ μ k ∂ N ( x n ∣ μ k , Σ k ) = N ( x n ∣ μ k , Σ k ) ( x n − μ k ) ⊤ Σ k − 1 r n k r_{nk} r nk ∂ L ∂ μ k = ∑ n r n k ( x n − μ k ) ⊤ Σ k − 1 = 0 ⊤
\frac{\partial\mathcal L}{\partial\mu_k}=\sum_nr_{nk}(x_n-\mu_k)^\top\Sigma_k^{-1}=0^\top
∂ μ k ∂ L = n ∑ r nk ( x n − μ k ) ⊤ Σ k − 1 = 0 ⊤ 오른쪽에 Σ k \Sigma_k Σ k ∑ n r n k x n = N k μ k \sum_nr_{nk}x_n=N_k\mu_k ∑ n r nk x n = N k μ k μ k = 1 N k ∑ n r n k x n \mu_k=\frac1{N_k}\sum_nr_{nk}x_n μ k = N k 1 ∑ n r nk x n r n k r_{nk} r nk μ k \mu_k μ k
비율. 조건 ∑ k π k = 1 \sum_k\pi_k=1 ∑ k π k = 1 L + λ ( ∑ k π k − 1 ) \mathcal L+\lambda(\sum_k\pi_k-1) L + λ ( ∑ k π k − 1 ) ∂ L ∂ π k = ∑ n N ( x n ∣ μ k , Σ k ) ∑ j π j N j = N k π k \frac{\partial\mathcal L}{\partial\pi_k}=\sum_n\frac{\mathcal N(x_n\mid\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal N_j}=\frac{N_k}{\pi_k} ∂ π k ∂ L = ∑ n ∑ j π j N j N ( x n ∣ μ k , Σ k ) = π k N k π k \pi_k π k r n k r_{nk} r nk N k π k + λ = 0 \frac{N_k}{\pi_k}+\lambda=0 π k N k + λ = 0 π k = − N k λ \pi_k=-\frac{N_k}\lambda π k = − λ N k k k k 1 = − N λ 1=-\frac N\lambda 1 = − λ N λ = − N \lambda=-N λ = − N π k = N k N \pi_k=\frac{N_k}N π k = N N k 5.12 SVM: 마진과 쌍대# 거리. 점 x a x_a x a x a ′ x_a' x a ′ x a = x a ′ + r w ∥ w ∥ x_a=x_a'+r\frac{w}{\|w\|} x a = x a ′ + r ∥ w ∥ w ⟨ w , ⋅ ⟩ + b \langle w,\cdot\rangle+b ⟨ w , ⋅ ⟩ + b ⟨ w , x a ⟩ + b = 0 + r ∥ w ∥ \langle w,x_a\rangle+b=0+r\|w\| ⟨ w , x a ⟩ + b = 0 + r ∥ w ∥ r = ⟨ w , x a ⟩ + b ∥ w ∥ r=\frac{\langle w,x_a\rangle+b}{\|w\|} r = ∥ w ∥ ⟨ w , x a ⟩ + b 마진. ( w , b ) (w,b) ( w , b ) ( c w , c b ) (cw,cb) ( c w , c b ) y n f ( x n ) = 1 y_nf(x_n)=1 y n f ( x n ) = 1 1 ∥ w ∥ \frac1{\|w\|} ∥ w ∥ 1 1 2 ∥ w ∥ 2 \frac12\|w\|^2 2 1 ∥ w ∥ 2 라그랑지안 (소프트 마진, α n , γ n ≥ 0 \alpha_n,\gamma_n\ge0 α n , γ n ≥ 0 f n = ⟨ w , x n ⟩ + b f_n=\langle w,x_n\rangle+b f n = ⟨ w , x n ⟩ + b L = 1 2 ∥ w ∥ 2 + C ∑ n ξ n − ∑ n γ n ξ n − ∑ n α n ( y n f n − 1 + ξ n )
\begin{aligned}
\mathfrak L={}&\tfrac12\|w\|^2+C\textstyle\sum_n\xi_n\\
&-\textstyle\sum_n\gamma_n\xi_n\\
&-\textstyle\sum_n\alpha_n(y_nf_n-1+\xi_n)
\end{aligned}
L = 2 1 ∥ w ∥ 2 + C ∑ n ξ n − ∑ n γ n ξ n − ∑ n α n ( y n f n − 1 + ξ n ) 미분해서 0. w w w w = ∑ n α n y n x n w=\sum_n\alpha_ny_nx_n w = ∑ n α n y n x n b b b ∑ n α n y n = 0 \sum_n\alpha_ny_n=0 ∑ n α n y n = 0 ξ n \xi_n ξ n C − α n − γ n = 0 C-\alpha_n-\gamma_n=0 C − α n − γ n = 0 γ n ≥ 0 \gamma_n\ge0 γ n ≥ 0 α n ≤ C \alpha_n\le C α n ≤ C 대입. 1 2 ∥ w ∥ 2 = 1 2 ∑ i , j α i α j y i y j ⟨ x i , x j ⟩ \frac12\|w\|^2=\frac12\sum_{i,j}\alpha_i\alpha_jy_iy_j\langle x_i,x_j\rangle 2 1 ∥ w ∥ 2 = 2 1 ∑ i , j α i α j y i y j ⟨ x i , x j ⟩ − ∑ n α n y n ⟨ w , x n ⟩ = − ∑ i , j α i α j y i y j ⟨ x i , x j ⟩ -\sum_n\alpha_ny_n\langle w,x_n\rangle=-\sum_{i,j}\alpha_i\alpha_jy_iy_j\langle x_i,x_j\rangle − ∑ n α n y n ⟨ w , x n ⟩ = − ∑ i , j α i α j y i y j ⟨ x i , x j ⟩ b b b ξ \xi ξ ∑ n α n \sum_n\alpha_n ∑ n α n D ( α ) = ∑ i α i − 1 2 ∑ i , j α i α j y i y j ⟨ x i , x j ⟩ \mathfrak D(\alpha)=\sum_i\alpha_i-\frac12\sum_{i,j}\alpha_i\alpha_jy_iy_j\langle x_i,x_j\rangle D ( α ) = ∑ i α i − 2 1 ∑ i , j α i α j y i y j ⟨ x i , x j ⟩ 6. 서술형 답 한두 문장# MLE·MAP·베이즈의 차이. MLE는 가능도를 최대로 하는 매개변수 하나를 고른다. MAP는 사전분포를 곱해 최대로 하는 하나를 고르며 정규화와 같다. 베이즈 추론은 하나를 고르지 않고 사후분포 전체로 예측을 평균해 불확실성까지 낸다.회귀 예측이 사영인 이유. 정규방정식 Φ ⊤ ( y − Φ θ ) = 0 \Phi^\top(y-\Phi\theta)=0 Φ ⊤ ( y − Φ θ ) = 0 Φ \Phi Φ Φ θ ML \Phi\theta_{\text{ML}} Φ θ ML y y y PCA·SVD·에카르트-영. 중심화한 데이터 행렬의 왼쪽 특이벡터가 주성분이고 λ d = σ d 2 / N \lambda_d=\sigma_d^2/N λ d = σ d 2 / N M M M M M M EM이 필요한 이유. GMM 로그가능도는 로그 안에 합이 있어, 미분해서 0으로 놓은 식에 매개변수가 서로 얽혀 닫힌 해가 없다. 책임도를 고정하면 각 갱신이 닫힌 꼴이 되므로 둘을 번갈아 계산한다.GMM과 K-평균. GMM은 책임도로 부드럽게 배정하고 평균·공분산·비율을 모두 배운다. K-평균은 가장 가까운 중심에 딱 잘라 배정하고 평균만 갱신한다. 둘 다 국소 최적이고 초기값에 민감하다.SVM 쌍대와 커널의 쓸모. 쌍대에서는 데이터가 내적으로만 들어가 커널로 바꿀 수 있다. 특징을 직접 만들지 않고 무한 차원 특징도 쓸 수 있고, 변수 수가 특징 차원이 아니라 데이터 수다. 유효한 커널은 대칭이고 그람 행렬이 늘 준정부호여야 한다.하드·소프트 마진과 C C C 하드 마진은 모든 점을 마진 밖에 두라고 요구해 완전히 나뉘는 데이터에만 쓴다. 소프트 마진은 여유 변수로 위반을 허락하고, C C C 과적합과 막는 법. 유연한 모델은 훈련 데이터의 잡음까지 맞춰 훈련 오차는 작지만 새 데이터에서는 나빠진다. 정규화로 매개변수 크기에 벌점을 주고, 교차검증으로 처음 보는 데이터의 성능을 추정한다.중첩 교차검증. 모델 선택에 쓴 교차검증 점수는 여러 잡음 섞인 추정값 중 가장 좋은 것을 고른 값이라 낙관적이다. 그래서 바깥 고리에서 남겨 둔 조각으로 따로 평가한다.예측 분산의 두 항. ϕ ∗ ⊤ S N ϕ ∗ \phi_*^\top S_N\phi_* ϕ ∗ ⊤ S N ϕ ∗ σ 2 \sigma^2 σ 2 7. 영어 지문 용어# 영어 뜻 영어 뜻 Show that / Prove 증명하라 Derive 식을 끝까지 유도하라 Compute / Evaluate 값을 계산하라 Verify / Check 확인하라 Justify 이유를 대라 Classify 종류를 판정하라 subspace 부분공간 basis / dimension 기저 / 차원 rank, kernel(null space), image 랭크, 핵(영공간), 상 transformation matrix 변환 행렬 orthogonal projection 정사영 orthogonal complement 직교여공간 inner product 내적 positive (semi)definite 양의 (준)정부호 eigenvalue / eigenvector 고유값 / 고유벡터 singular value 특이값 gradient / Jacobian / Hessian 기울기 / 야코비안 / 헤시안 stationary point / saddle point 정류점 / 안장점 step size (learning rate) 학습률 convex / concave 볼록 / 오목 Lagrangian / dual function 라그랑지안 / 쌍대 함수 strong duality 강한 쌍대성 complementary slackness 상보 여유성 i.i.d. 독립이고 같은 분포 likelihood / prior / posterior 가능도 / 사전분포 / 사후분포 conjugate prior 켤레 사전분포 marginal likelihood (evidence) 주변 가능도 posterior predictive 사후 예측 분포 change of variables 변수 변환 empirical risk 경험적 위험 overfitting / regularization 과적합 / 정규화 cross-validation (nested) (중첩) 교차검증 d-separation / collider d-분리 / 충돌 노드 latent variable 잠재변수 responsibility 책임도 mixture weight 혼합 비율 reconstruction error 재구성 오차 explained variance 설명된 분산 margin / support vector 마진 / 서포트 벡터 slack variable 여유 변수 hinge loss 힌지 손실 Gram matrix 그람 행렬
8. 입실 직전 마지막 10분# 소리 내어 한 번씩 읽는다.
기울기는 행벡터다. 경사하강법에는 전치를 붙인다. x ⊤ B x x^\top Bx x ⊤ B x 2 x ⊤ B 2x^\top B 2 x ⊤ B B B B 2차 테일러 근사의 헤시안 항에는 1 2 \frac12 2 1 공분산 분모는 N N N 가우시안 조건부 분산은 관측값과 무관하고 원래 분산보다 작다. 사영은 오차가 기저와 직교한다는 조건에서 나온다: B ⊤ ( x − B λ ) = 0 B^\top(x-B\lambda)=0 B ⊤ ( x − B λ ) = 0 SVD는 u i = A v i / σ i u_i=Av_i/\sigma_i u i = A v i / σ i MAP의 λ \lambda λ σ 2 / b 2 \sigma^2/b^2 σ 2 / b 2 베이즈 예측 분산에는 마지막에 σ 2 \sigma^2 σ 2 PCA 재구성 오차는 버린 고유값의 합이다. GMM 공분산 갱신에는 새 평균을 쓰고, π k = N k / N \pi_k=N_k/N π k = N k / N 라그랑지안은 조건을 g ≤ 0 g\le0 g ≤ 0 + λ g +\lambda g + λ g 충돌 노드는 “알면 열림”, 사슬·갈래는 “알면 막힘”. SVM: 마진 1 ∥ w ∥ \frac1{\|w\|} ∥ w ∥ 1 ∑ n α n y n = 0 \sum_n\alpha_ny_n=0 ∑ n α n y n = 0 0 ≤ α n ≤ C 0\le\alpha_n\le C 0 ≤ α n ≤ C b b b 0 < α n < C 0<\alpha_n<C 0 < α n < C 막히면 넘어가고, 못 끝낸 문제에도 출발 식은 남긴다.