MML 8~12장 연습문제: 교재를 따라 만든 43문제와 OX 퀴즈

교재: Deisenroth·Faisal·Ong, Mathematics for Machine Learning (mml-book.github.io에 공개된 PDF, 2024-01-15 판). 쪽수와 식 번호는 그 PDF 기준이다.
왜 만들었나: 교재 Part II(8~12장)에는 장 끝 연습문제가 없다. 그래서 교재의 절·식·예제를 따라가며 손으로 풀 수 있는 문제를 만들었다. 문제마다 근거가 되는 교재 절과 식 번호를 적었다. 교재에 없는 내용을 묻는 곳은 교재 밖 보충이라고 표시했다.
답과 풀이: 다음 편에 있다. 모든 숫자 답은 numpy·scipy로 검산했다. 개념 해설은 장별 글(8장, 9장, 10장, 11장, 12장)에 있다.
표기: 교재와 같이 공분산의 분모는 $N$, 스칼라 함수의 기울기는 행벡터, $\log$는 자연로그다. 9장의 데이터 행렬은 $N\times D$, 10장은 $D\times N$이다.

문제 종류: [계산] 손으로 숫자를 끝까지 구한다. [유도] 백지에 식을 끝까지 쓴다. [서술] 말로 설명한다.

8장 모델과 데이터

8-1. 경험적 위험과 과적합 [계산]

근거: 8.2.18.2.3절, 식 (8.6)(8.10)

훈련 데이터 $(x,y)$는 $(0,0),\ (1,2),\ (2,2)$, 테스트 데이터는 $(3,\,2.5),\ (4,\,4.5)$이다. 예측기 두 개를 비교한다.

• $f_1(x)=x$ (직선)
• $f_2$: 훈련 데이터 세 점을 정확히 지나는 2차식

(a) $f_2$를 구하라. (b) 제곱 손실 $\ell(y,\hat y)=(y-\hat y)^2$로 두 예측기의 훈련 경험적 위험 $R_{\text{emp}}(f,X_{\text{train}},y_{\text{train}})$을 구하라. (c) 테스트 데이터의 경험적 위험을 구하라. (d) 교재가 정의한 과적합에 비추어 어느 예측기가 과적합인지 설명하라.

8-2. 가우시안 가능도, 최소제곱, 정규화 최소제곱 [유도·계산]

근거: 예제 8.2, 8.3, 8.5, 식 (8.9), (8.12), (8.18)

(a) $p(y_n\mid x_n,\theta)=\mathcal N(y_n\mid x_n^\top\theta,\sigma^2)$이고 $\sigma^2$를 안다고 하자. 음의 로그 가능도 $\mathcal L(\theta)$를 전개하고, $\mathcal L$을 최소화하는 $\theta$가 최소제곱 문제 (8.9)의 해와 같음을 보여라. (b) 정규화 최소제곱 (8.12) $\min_\theta \frac1N\|y-X\theta\|^2+\lambda\|\theta\|^2$의 해를 닫힌 꼴로 구하라. (c) 절편 없는 1차원 모델 $f(x)=\theta x$와 데이터 $x=(1,2,3)$, $y=(2,3,5)$에 대해 $\lambda=0$일 때와 $\lambda=\frac13$일 때 $\theta$를 구하라. (d) 9장의 정규화 최소제곱 (9.32) $\|y-\Phi\theta\|^2+\lambda\|\theta\|^2$에 있는 $\lambda$는 (8.12)의 $\lambda$와 어떤 관계인가?

8-3. 동전 던지기: MLE, MAP, 베이즈 추론 [계산]

근거: 식 (8.17), (8.19)(8.23), (8.32)(8.33), 그림 8.10(c), 6.6.1절(켤레 사전분포)

동전을 8번 던져 $1,1,0,1,0,1,1,1$을 얻었다($1$=앞면). 모델은 $p(x\mid\mu)=\text{Ber}(\mu)$이고 던지기끼리는 독립이다.

(a) 음의 로그 가능도 $\mathcal L(\mu)$를 쓰고 $\mu_{\text{ML}}$을 구하라. (b) 사전분포가 $\mu\sim\text{Beta}(2,2)$일 때 $\mu_{\text{MAP}}$을 구하라. (c) 사후분포 $p(\mu\mid\mathcal X)$를 구하라. (d) 다음 던지기가 앞면일 확률을 식 (8.23)처럼 $\mu$에 대해 적분해서 구하고, $\mu_{\text{ML}}$이나 $\mu_{\text{MAP}}$을 그대로 넣은 값과 비교하라.

8-4. 인수분해와 그래프 [계산]

근거: 예제 8.7, 8.8, 식 (8.29)~(8.31)

(a) $p(a,b,c,d)=p(a)\,p(b\mid a)\,p(c\mid a)\,p(d\mid b,c)$에 해당하는 방향 그래프의 화살표를 모두 써라. (b) 화살표가 $x_1\to x_2$, $x_1\to x_3$, $x_2\to x_4$, $x_3\to x_4$, $x_4\to x_5$인 그래프의 결합분포를 식 (8.31)로 써라. (c) (b)의 다섯 변수가 모두 0 또는 1만 갖는다면, 결합분포를 표 하나로 저장할 때와 (b)의 인수분해로 저장할 때 필요한 자유 매개변수는 각각 몇 개인가? (교재 밖 보충)

8-5. d-분리 판정 [계산]

근거: 8.5.2절, 예제 8.9, 그림 8.11

그림 8.11의 그래프는 화살표 $a\to b$, $b\to c$, $a\to d$, $c\to d$, $d\to e$로 되어 있다.

(a) 교재의 네 문장 (8.35) $b\perp\!\!\!\perp d\mid a,c$, (8.36) $a\perp\!\!\!\perp c\mid b$, (8.37) $b\not\perp\!\!\!\perp d\mid c$, (8.38) $a\not\perp\!\!\!\perp c\mid b,e$가 맞음을 경로마다 따져 보여라. (b) 다음이 성립하는지 판정하라. (i) $a\perp\!\!\!\perp c$ (조건 없음) (ii) $b\perp\!\!\!\perp e\mid d$ (iii) $a\perp\!\!\!\perp e\mid b,c$ (iv) $b\perp\!\!\!\perp e\mid a,c$

8-6. 잠재변수 모델: 주변화와 사후분포 [계산]

근거: 8.4.3절, 식 (8.24)~(8.28)

잠재변수 $z\in\{1,2\}$의 사전분포가 $p(z=1)=0.3$, $p(z=2)=0.7$이고, $x\mid z=1\sim\mathcal N(0,1)$, $x\mid z=2\sim\mathcal N(3,1)$이다. ($\mathcal N(1\mid0,1)\approx0.2420$, $\mathcal N(1\mid3,1)\approx0.0540$)

(a) $x=1$에서 주변 밀도 $p(x=1)$을 구하라. 식 (8.25)의 적분이 여기서는 합이 된다. (b) $p(z=1\mid x=1)$을 구하라(식 (8.28)). (c) 사전확률 0.3에 비해 사후확률이 커졌는가, 작아졌는가? 이유는?

8-7. 베이즈 팩터로 모델 비교 [계산]

근거: 8.6.28.6.3절, 식 (8.43)(8.47)

8-3의 동전 데이터(앞면 6, 뒷면 2, 순서까지 주어진 수열)를 두 모델로 설명한다.

• $M_1$: $\mu=0.5$로 고정(공정한 동전, 자유 매개변수 없음)
• $M_2$: $\mu\sim\text{Beta}(1,1)$, 즉 $[0,1]$ 위의 균등분포

힌트: $\int_0^1\mu^{a-1}(1-\mu)^{b-1}d\mu=\frac{(a-1)!\,(b-1)!}{(a+b-1)!}$ (양의 정수 $a,b$)

(a) $p(\mathcal D\mid M_1)$을 구하라. (b) $p(\mathcal D\mid M_2)=\int_0^1\mu^6(1-\mu)^2d\mu$를 구하라. (c) 베이즈 팩터 $\frac{p(\mathcal D\mid M_2)}{p(\mathcal D\mid M_1)}$를 구하고, 모델 사전확률이 같을 때 어느 모델을 고르는지 말하라. (d) $M_2$의 최대 가능도 $\max_\mu p(\mathcal D\mid\mu)$를 $p(\mathcal D\mid M_1)$과 비교하라. (c)와 결론의 세기가 다른 이유를 설명하라. (e) 8번 모두 앞면이었다면 베이즈 팩터는 얼마인가? 모델 사전확률이 $p(M_1)=0.8$, $p(M_2)=0.2$라면 사후 오즈 $\frac{p(M_2\mid\mathcal D)}{p(M_1\mid\mathcal D)}$는?

8-8. AIC와 BIC [계산]

근거: 8.6.4절, 식 (8.48), (8.49)

데이터 $N=100$개에 세 모델을 최대가능도로 맞췄다.

(a) 교재 (8.48)의 AIC $\log p(x\mid\theta)-M$을 계산하고 모델을 골라라. (b) 교재 (8.49)의 BIC $\log p(x\mid\theta)-\frac12M\log N$을 계산하고 모델을 골라라($\log100\approx4.605$). (c) 두 기준이 다른 모델을 고른 이유를 설명하라. (d) 다른 책에서는 AIC를 $2M-2\log p$(작을수록 좋음)로 쓴다. 교재의 정의와 어떤 관계인가?

8-9. 교차 검증과 중첩 교차 검증 [계산·서술]

근거: 8.2.4절, 8.6.1절, 식 (8.39), 8.6.1절 여백 주석(표준오차)

릿지 정규화 세기 $\lambda$ 후보 세 개를 5겹 교차 검증($K=5$)으로 비교했다. 표는 검증 조각마다의 RMSE다.

(a) 각 $\lambda$의 교차 검증 추정값 (8.39)와 표준오차 $\sigma/\sqrt K$를 구하라. $\sigma$는 다섯 값의 표준편차이고 분모는 $K$로 한다. (b) 어떤 $\lambda$를 고르는가? (c) 고른 $\lambda$의 교차 검증 값을 “최종 일반화 성능"으로 보고하면 안 되는 이유를 말하고, 중첩 교차 검증에서 안쪽 고리와 바깥쪽 고리가 각각 무엇을 하는지 설명하라.

9장 선형 회귀

9-1. 직선 맞추기: 정규방정식 [계산]

근거: 9.2.1절, 식 (9.12c), (9.19), (9.22), (9.23)

데이터 $(x,y)$: $(-1,0),\ (0,1),\ (1,1),\ (2,3)$. 모델 $y=\theta_0+\theta_1x+\epsilon$, $\epsilon\sim\mathcal N(0,\sigma^2)$, 특징 $\phi(x)=[1,x]^\top$.

(a) $\Phi$, $\Phi^\top\Phi$, $\Phi^\top y$를 구하라. (b) $\theta_{\text{ML}}=(\Phi^\top\Phi)^{-1}\Phi^\top y$를 구하라. (c) 잔차 $y-\Phi\theta_{\text{ML}}$이 $\Phi$의 두 열과 직교함을 확인하라. (d) $\sigma^2_{\text{ML}}$ (9.22)와 RMSE (9.23)을 구하라.

9-2. 노이즈 분산의 최대가능도 [유도]

근거: 식 (9.20)~(9.22)

(a) $\theta$를 고정하고 $\log p(\mathcal Y\mid\mathcal X,\theta,\sigma^2)$를 $\sigma^2$로 미분해 $\sigma^2_{\text{ML}}=\frac1N\sum_n(y_n-\phi^\top(x_n)\theta)^2$을 유도하라. (b) 이 값이 최소가 아니라 최대임을 확인하라. (c) 최대 로그 가능도가 $-\frac N2\log(2\pi\sigma^2_{\text{ML}})-\frac N2$임을 보이고, 9-1의 숫자로 값을 구하라.

9-3. 다항 특징과 과적합 [계산]

근거: 예제 9.39.5, 식 (9.16)(9.17), 9.2.2절, 그림 9.6

데이터 $(x,y)$: $(-1,2),\ (0,0),\ (1,1)$.

(a) 2차 다항 특징 $\phi(x)=[1,x,x^2]^\top$의 특징 행렬 $\Phi$를 식 (9.17)처럼 쓰고 $\theta_{\text{ML}}$을 구하라. (b) 1차(직선) 특징 $\phi(x)=[1,x]^\top$로 $\theta_{\text{ML}}$과 훈련 RMSE를 구하라. (c) 2차 모델의 훈련 RMSE를 구하라. (d) 새 점 $(2,\,1.5)$에서 두 모델의 예측과 오차를 비교하고, 그림 9.6(차수 $M$에 따른 훈련·테스트 RMSE)과 연결해 설명하라.

9-4. MAP 추정과 릿지 회귀 [유도·계산]

근거: 9.2.39.2.4절, 식 (9.28)(9.34)

(a) 가능도 $\mathcal N(y\mid\Phi\theta,\sigma^2I)$, 사전분포 $p(\theta)=\mathcal N(0,b^2I)$일 때 음의 로그 사후분포 (9.28)을 쓰고, 기울기를 0으로 놓아 $\theta_{\text{MAP}}$ (9.31)을 유도하라. (b) 9-1의 데이터에서 $\sigma^2/b^2=2$일 때 $\theta_{\text{MAP}}$을 구하라. (c) $\|\theta_{\text{ML}}\|^2$와 $\|\theta_{\text{MAP}}\|^2$를 비교하라. (d) 정규화 최소제곱 (9.32)의 $\lambda$는 $\sigma^2$, $b^2$와 어떤 관계인가?

9-5. 베이즈 선형 회귀: 사후분포와 예측 [계산]

근거: 9.3절, 식 (9.38), (9.43), (9.57)

매개변수가 하나인 모델 $y=\theta x+\epsilon$, $\epsilon\sim\mathcal N(0,1)$, 사전분포 $\theta\sim\mathcal N(0,1)$. 데이터 $(x,y)$: $(1,2),\ (2,3)$.

(a) 사후분포 $p(\theta\mid\mathcal X,\mathcal Y)=\mathcal N(m_N,S_N)$을 구하라. (b) $\theta_{\text{ML}}$과 $m_N$을 비교하라. (c) $x_*=0$과 $x_*=3$에서 사후 예측 분포의 평균과 분산을 구하라. (d) $x_*=3$에서 사전 예측 분포 (9.38)과 비교하라. (e) 세 번째 점 $(-1,-1)$이 들어왔다. (a)의 사후분포를 새 사전분포로 써서 갱신한 결과와, 세 점을 한꺼번에 써서 구한 사후분포가 같음을 확인하라.

9-6. 주변 가능도로 모델 비교 [계산]

근거: 9.3.5절, 식 (9.60)(9.64), 8.6.28.6.3절

9-5와 같은 데이터 $(1,2),(2,3)$, $\sigma^2=1$. 상수: $\log2\pi\approx1.8379$, $\log6\approx1.7918$, $\log501\approx6.2166$.

(a) 사전분포 $\theta\sim\mathcal N(0,1)$일 때 $p(y\mid\mathcal X)=\mathcal N(y\mid0,\ s_0XX^\top+\sigma^2I)$를 쓰고 로그 값을 구하라. (b) 매개변수가 없는 모델 $M_0$: $y=\epsilon$(즉 $\theta=0$ 고정)의 $\log p(y)$를 구하라. (c) 사전분포 $\theta\sim\mathcal N(0,100)$일 때 $\log p(y\mid\mathcal X)$를 구하라. (d) 세 값을 비교하고 “자동 오컴의 면도날”(8.6.2절), 제프리스-린들리 역설(8.6.3절 Remark)과 연결해 설명하라.

9-7. 최소제곱은 직교사영이다 [계산]

근거: 9.4절, 식 (9.65)~(9.67), 3.8절

$X=[1,2,2]^\top$, $y=[1,1,4]^\top$, 모델 $y=X\theta+\epsilon$ ($\theta$는 스칼라).

(a) $\theta_{\text{ML}}$을 구하라. (b) 사영 $X\theta_{\text{ML}}$과 사영 행렬 $P=X(X^\top X)^{-1}X^\top$을 구하라. (c) 잔차가 $X$와 직교함을 확인하라. (d) $P^2=P$, $P^\top=P$, $\text{tr}(P)=1$임을 확인하고 각각의 뜻을 말하라.

9-8. 데이터가 많아지면 베이즈 사후 평균은 MLE로 간다 [유도]

근거: 식 (9.43)

매개변수가 하나인 모델 $y_n=\theta x_n+\epsilon_n$, $\epsilon_n\sim\mathcal N(0,\sigma^2)$, 사전분포 $\theta\sim\mathcal N(m_0,s_0)$.

(a) 식 (9.43)을 스칼라로 써서 $S_N$, $m_N$을 구하라. (b) $m_N$을 $\theta_{\text{ML}}$과 $m_0$의 가중평균으로 써라. (c) 데이터가 늘어 $\sum_nx_n^2\to\infty$이면 $S_N\to0$, $m_N\to\theta_{\text{ML}}$임을 보여라. (d) 반대로 $s_0\to0$이면 어떻게 되는가?

9-9. $\Phi^\top\Phi$의 역행렬이 없을 때 [계산·서술]

근거: 식 (9.12) 옆 여백 주석($\text{rk}(X)=D$ 조건), 식 (9.34)

특징 $\phi(x)=[x,\ 2x]^\top$(둘째 특징이 첫째의 두 배), 데이터 $x=(1,2,3)$, $y=(1,2,2)$.

(a) $\Phi^\top\Phi$를 구하고 역행렬이 없음을 보여라. (b) 정규방정식의 해가 무수히 많지만 모든 해의 예측값이 같음을 보여라. (c) $\lambda=1$일 때 릿지 해 (9.34)를 구하라. (d) $\lambda>0$이면 $\Phi^\top\Phi+\lambda I$가 항상 가역인 이유를 말하라.

10장 PCA

10-1. 네 점 PCA 처음부터 끝까지 [계산]

근거: 10.2절, 식 (10.1), (10.13), (10.15), (10.16), (10.44)

데이터 $(3,3),\ (2,4),\ (-1,1),\ (0,0)$, 주성분 하나($M=1$)로 줄인다.

(a) 평균을 구하고 데이터를 중심화하라. (b) 공분산 $S$를 구하라(분모 $N$). (c) $S$의 고유값과 단위 고유벡터를 구하라. (d) 좌표 $z_n=b_1^\top(x_n-\mu)$를 구하고, $z_n$의 분산이 $\lambda_1$과 같음을 확인하라. (e) 복원 $\tilde x_n=\mu+b_1z_n$을 구하고, 평균 제곱 재구성 오차가 $\lambda_2$와 같음을 확인하라.

10-2. 3차원에서 주성분 개수 고르기 [계산]

근거: 식 (10.24)~(10.25), (10.34), (10.44)

중심화된 데이터의 공분산이 $S=\begin{bmatrix}3&1&0\\1&3&0\\0&0&1\end{bmatrix}$이다.

(a) 고유값과 단위 고유벡터를 구하라. (b) $M=1$, $M=2$일 때 재구성 오차 $J_M$과 설명된 분산 비율 $V_M/V_D$를 구하라. (c) 중심화된 점 $x=(2,0,1)$을 $M=1$, $M=2$ 주부분공간에 사영하고 각각의 제곱 오차를 구하라.

10-3. 최대 분산 방향은 가장 큰 고유벡터다 [유도]

근거: 식 (10.9)~(10.23)

중심화된 데이터 $x_1,\dots,x_N$, $S=\frac1N\sum_nx_nx_n^\top$.

(a) 단위벡터 $b_1$ 방향 좌표 $z_{1n}=b_1^\top x_n$의 분산이 $V_1=b_1^\top Sb_1$임을 보여라. (b) 제약 $\|b_1\|=1$이 왜 필요한가? (c) 라그랑주 함수로 $Sb_1=\lambda_1b_1$을 유도하라. (d) 왜 가장 큰 고유값의 고유벡터를 고르는가? (e) 첫 주성분을 빼낸 데이터 $\hat X=X-b_1b_1^\top X$의 공분산 $\hat S$에 대해 $\hat Sb_1=0$, $\hat Sb_i=\lambda_ib_i$ ($i\ge2$)임을 보이고, 둘째 주성분이 $b_2$임을 설명하라.

10-4. SVD로 PCA 하기 [계산]

근거: 10.4절, 식 (10.45)~(10.49)

10-1의 중심화된 데이터를 열로 쌓은 $D\times N$ 행렬 $X=\begin{bmatrix}2&1&-2&-1\\1&2&-1&-2\end{bmatrix}$.

(a) $XX^\top$을 구하라. (b) $X$의 특이값을 구하라. (c) $\lambda_d=\sigma_d^2/N$ (10.49)를 확인하라. (d) 9장과 10장의 데이터 행렬 모양이 다른 점을 말하라.

10-5. $N<D$일 때: 작은 행렬의 고유벡터로 PCA 하기 [계산]

근거: 10.5절, 식 (10.53)~(10.57)

$D=4$, $N=3$인 데이터 $x_1=(1,0,1,0)$, $x_2=(-1,1,0,1)$, $x_3=(0,-1,-1,-1)$.

(a) 평균이 $0$임을 확인하라. (b) $X=[x_1,x_2,x_3]\in\mathbb R^{4\times3}$에 대해 $X^\top X$ ($3\times3$)를 구하라. (c) $\frac1NX^\top X$의 고유값과 고유벡터 $c$를 구하라. (힌트: $[1,1,1]^\top$은 고유값 $0$의 고유벡터다.) (d) $Xc$를 정규화해 $S=\frac1NXX^\top$의 첫 주성분 $b_1$을 구하고 $Sb_1=\lambda_1b_1$을 확인하라. (e) $4\times4$ 대신 $3\times3$을 푸는 것이 어떤 이득인지 말하라.

10-6. 표준화 [계산·서술]

근거: 10.6절, 식 (10.58)~(10.61)

두 특징의 평균이 $(170,\,0)$, 표준편차가 $(10,\,1)$, 공분산이 $S=\begin{bmatrix}100&6\\6&1\end{bmatrix}$이다.

(a) 표준화하지 않은 $S$의 고유값을 구하고, 첫 주성분이 거의 $(1,0)$임을 보여라. (b) 표준화한 뒤의 공분산을 구하고 그 고유값과 고유벡터를 구하라. (c) 새 점 $x_*=(185,\,0.5)$를 (10.58)~(10.61)의 순서대로 표준화 → $M=1$ 사영 → 원래 단위로 되돌리기를 하라.

10-7. 거듭제곱법 [계산]

근거: 10.4절, 식 (10.52)

$S=\begin{bmatrix}2&1\\1&2\end{bmatrix}$, $x_0=(1,0)$.

(a) $x_1,x_2,x_3$을 구하라(매번 정규화). (b) 레일리 몫 $x_k^\top Sx_k$로 가장 큰 고유값을 추정하라. (c) 수렴 속도가 $\lambda_2/\lambda_1$에 달린 이유를 설명하라. (교재 밖 보충)

10-8. 확률적 PCA [계산]

근거: 10.7절, 식 (10.63)~(10.75)

$D=2$, $M=1$, $B=[2,1]^\top$, $\mu=0$, $\sigma^2=1$.

(a) $p(x)$의 공분산 $BB^\top+\sigma^2I$를 구하라(10.70b). (b) $\text{Cov}[x,z]$와 결합분포 $p(x,z)$를 써라(10.71)(10.72). (c) $x=(3,1)$일 때 사후분포 $p(z\mid x)=\mathcal N(m,C)$를 구하라(10.73)(10.75). (d) $\sigma^2\to0$일 때 사후 평균의 극한을 구하고, 이것이 PCA 좌표와 같아지는 조건을 말하라.

10-9. 재구성 오차는 버린 고유값의 합이다 [유도]

근거: 10.3절, 식 (10.29)~(10.44), (10.25)

(a) 최적 좌표가 $z_{in}=b_i^\top x_n$임을 유도하라(10.30)~(10.32). (b) 정규직교 기저 $b_1,\dots,b_D$로 $x_n-\tilde x_n=\sum_{j=M+1}^Db_jb_j^\top x_n$임을 보여라(10.38). (c) $J_M=\sum_{j=M+1}^Db_j^\top Sb_j$를 보여라(10.43). (d) $J_M=\sum_{j=M+1}^D\lambda_j$ (10.44)와 “전체 분산 = 남긴 분산 + 재구성 오차” (10.25)를 보여라.

11장 GMM과 EM

11-1. 교재 예제의 책임도 [계산]

근거: 예제 11.1, 11.2, 식 (11.6)~(11.8), (11.17), (11.19)

데이터 $\{-3,-2.5,-1,0,2,4,5\}$, 초기 성분 $\mathcal N(x\mid-4,1)$, $\mathcal N(x\mid0,0.2)$, $\mathcal N(x\mid8,3)$, 비율 $\pi_k=\frac13$.

$x=-1$과 $x=2$의 책임도 $r_{n1},r_{n2},r_{n3}$을 계산하라.

상수: $\frac1{\sqrt{2\pi}}\approx0.3989$, $\frac1{\sqrt{0.4\pi}}\approx0.8921$, $\frac1{\sqrt{6\pi}}\approx0.2303$, $e^{-2.5}\approx0.08208$, $e^{-4.5}\approx0.01111$, $e^{-6}\approx0.002479$, $e^{-10}\approx4.54\times10^{-5}$, $e^{-13.5}\approx1.37\times10^{-6}$, $e^{-18}\approx1.52\times10^{-8}$

11-2. 교재 예제의 M 단계 한 번 [계산]

근거: 예제 11.311.5, 식 (11.20), (11.30), (11.42), (11.27)(11.29), (11.39)(11.41), (11.50)(11.52)

11-1의 데이터에서 교재 (11.19)의 책임도 행렬을 쓴다(행이 데이터, 열이 성분).

(a) $N_k$를 구하라. (b) 새 평균 $\mu_k$를 구하라. (c) 새 평균을 써서 새 분산 $\sigma_k^2$를 구하라. (d) 새 비율 $\pi_k$를 구하라. (e) 교재의 값(평균 $-2.7,-0.4,3.7$, 분산 $0.14,0.44,1.53$, 비율 $0.29,0.29,0.42$)과 비교하라.

11-3. 갱신식 유도: 평균과 분산 [유도]

근거: 정리 11.1, 식 (11.10)~(11.24), 정리 11.2

(a) 로그 가능도 (11.10)을 $\mu_k$로 미분해 $\mu_k^{\text{new}}=\frac1{N_k}\sum_nr_{nk}x_n$ (11.20)을 유도하라. (b) 이 식이 닫힌 해가 아닌 이유를 말하라. (c) 1차원($\Sigma_k=\sigma_k^2$)에서 $\sigma_k^2$로 미분해 $\sigma_k^{2,\text{new}}=\frac1{N_k}\sum_nr_{nk}(x_n-\mu_k)^2$을 유도하라.

11-4. 혼합 비율 갱신: 라그랑주 승수 [유도]

근거: 정리 11.3, 식 (11.42)~(11.49)

(a) 제약 $\sum_k\pi_k=1$을 붙인 라그랑주 함수를 써라. (b) $\pi_k$로 미분해 $\pi_k=-N_k/\lambda$를 얻어라. (c) $\lambda=-N$임을 보이고 $\pi_k=N_k/N$을 얻어라.

11-5. 잠재변수 관점과 결정 경계 [계산]

근거: 11.4절, 식 (11.58)~(11.72)

$K=2$, $\pi=(0.6,\,0.4)$, $\mu=(0,\,2)$, $\sigma_1^2=\sigma_2^2=1$.

(a) 원-핫 잠재변수 $z$의 $p(z)$와 $p(x\mid z)$에서 $p(x)$를 유도하라(11.65)~(11.66). (b) $x=1$에서 $p(z_1=1\mid x)$를 구하라. 결과가 $\pi_1$과 같은 이유는? (c) 두 책임도가 같아지는 $x$를 구하라($\log1.5\approx0.4055$).

11-6. EM 한 바퀴: 잘 갈라진 데이터 [계산]

근거: 11.3절, 식 (11.53)~(11.56)

데이터 $0,1,5,6$, $K=2$, 초기값 $\pi=(0.5,0.5)$, $\mu=(1,5)$, $\sigma_1^2=\sigma_2^2=1$. ($e^{-8}\approx3.35\times10^{-4}$, $e^{-12}\approx6.1\times10^{-6}$)

(a) E 단계: 네 점의 책임도를 구하라. (b) M 단계: $N_k$, $\mu_k$, $\sigma_k^2$, $\pi_k$를 구하라. (c) 로그 가능도가 $-7.448$에서 $-5.676$으로 늘었다. 왜 늘어야 하는가? (d) 책임도가 거의 0 또는 1일 때 이 계산은 K-평균의 어떤 단계와 같아지는가? (교재 밖 보충 포함)

11-7. 최대가능도의 특이점 [계산·서술]

근거: 11.5절(더 읽을거리)

데이터 $0,1,5,6$, $K=2$, $\pi=(0.5,0.5)$, $\mu_1=0$, $\sigma_1^2=\varepsilon$, $\mu_2=3$, $\sigma_2^2=10$.

(a) $x=0$의 로그 밀도 항이 $\varepsilon\to0$에서 $+\infty$로 감을 보여라. (b) 나머지 점의 항은 아래로 유계임을 보이고, 전체 로그 가능도가 $+\infty$로 감을 결론지어라. (c) 이것이 왜 좋은 모델이 아닌지, 실제로 어떻게 막는지 말하라(교재 밖 보충).

11-8. EM과 GMM 개념 [서술]

근거: 11.2~11.5절

(a) 책임도 $r_{nk}$가 사후확률 $p(z_{nk}=1\mid x_n)$임을 베이즈 정리로 보여라(11.72). (b) E 단계와 M 단계는 각각 무엇을 고정하고 무엇을 바꾸는가? (c) EM이 전역 최댓값을 보장하지 않는 이유와 실전 대처를 말하라. (d) GMM 최대가능도와 하나의 가우시안 최대가능도의 차이를 “로그 안의 합"으로 설명하라.

12장 SVM

12-1. 초평면까지의 거리와 크기 조정 [계산]

근거: 12.112.2절, 식 (12.2)(12.18)

$w=(3,4)$, $b=-5$.

(a) 점 $(3,4)$, $(0,0)$, $(1,\,0.5)$의 $f(x)=\langle w,x\rangle+b$와 부호 있는 거리 $f(x)/\|w\|$를 구하라. (b) $(w,b)$를 $(6,8,-10)$으로 두 배 해도 같은 초평면임을 보이고, $y f(x)$ 값은 두 배가 됨을 보여라. (c) 그래서 (12.15)처럼 “가장 가까운 점에서 $y_n(\langle w,x_n\rangle+b)=1$“로 크기를 고정하면 마진이 $1/\|w\|$가 되는 이유를 (12.11)~(12.14)로 설명하라.

12-2. 하드 마진 SVM: 눈에 보이는 답이 최적이 아닐 때 [계산]

근거: 12.2.1~12.2.3절, 식 (12.18), 12.3.2절(볼록 껍질), 식 (12.38), (12.42)

양성 $(2,2),\ (2,3)$, 음성 $(0,0),\ (0,1)$.

(a) 수직선 $x_1=1$ ($w=(1,0)$, $b=-1$)이 모든 제약 (12.15)를 만족하고 마진이 1임을 확인하라. (b) 두 클래스 볼록 껍질 사이의 가장 가까운 두 점을 찾고, 그로부터 최대 마진 초평면 $(w,b)$를 구하라. (c) (b)의 마진이 (a)보다 큼을 확인하라. (d) 쌍대 변수 $\alpha$를 구해 (12.38)로 $w$를 다시 만들고, (12.42)로 $b$를 구하고, 쌍대 목적값과 원 목적값이 같음을 확인하라.

12-3. 소프트 마진 쌍대 유도 [유도]

근거: 12.3.1절, 식 (12.34)~(12.41)

(a) 원 문제 (12.26a)의 라그랑주 함수를 써라. (b) $w$, $b$, $\xi_n$으로 편미분하라. (c) 대입해서 (12.40)을 얻고 쌍대 문제 (12.41)을 써라. (d) $0\le\alpha_n\le C$가 나오는 이유를 말하라. (e) 하드 마진의 쌍대와 무엇이 다른가?

12-4. 힌지 손실과 여유 변수 [계산]

근거: 12.2.412.2.5절, 식 (12.26), (12.28)(12.33)

$w=(1,-1)$, $b=0$, $C=1$.

(a) 각 점의 $t_n=y_nf(x_n)$, 힌지 손실, 여유 변수 $\xi_n$을 구하라. (b) 각 점이 마진 밖, 마진 경계 위, 마진 안(올바른 쪽), 잘못 분류 중 어디에 있는지 말하라. (c) 목적함수 (12.31)의 값을 구하라. (d) 0-1 손실과 비교하고, 힌지 손실이 0-1 손실의 상한임을 말하라.

12-5. 커널로 XOR 풀기 [계산]

근거: 12.4절, 식 (12.52)~(12.53), 12.3.2절

양성 $(1,1),\ (-1,-1)$, 음성 $(1,-1),\ (-1,1)$.

(a) 원래 2차원에서 직선으로 분리할 수 없음을 볼록 껍질로 보여라. (b) 다항 커널 $k(x,x')=(x^\top x')^2$의 특징 사상이 $\phi(x)=(x_1^2,\ \sqrt2x_1x_2,\ x_2^2)$임을 보이고, $x=(1,2)$, $x'=(3,-1)$로 숫자를 확인하라. (c) 네 점의 그람 행렬 $K$를 구하고 양의 준정부호인지 확인하라(12.53). (d) 특징 공간에서 하드 마진 SVM의 $w$, $b$, 마진을 구하고 결정 함수를 원래 좌표로 써라. (e) 쌍대 변수 $\alpha$를 구하고, 커널만으로 결정 함수를 다시 써서 (d)와 같음을 확인하라. (f) $k(x,x')=-\|x-x'\|^2$이 커널이 될 수 없음을 점 $0$과 $1$(1차원)로 보여라.

12-6. $C$와 정규화 계수 $\lambda$의 관계 [유도·서술]

근거: 12.2.5절, 식 (12.31), 8.2.3절, 식 (8.6), (8.12)

(a) (12.31)을 $CN$으로 나누어 “평균 손실 + $\lambda\times$정규화항” 꼴로 바꾸고 $\lambda$와 $C$의 관계를 구하라. (b) $C$가 클 때와 작을 때 마진과 훈련 오류가 어떻게 되는지 말하라. (c) $C\to\infty$이면 어떤 문제가 되는가?

12-7. 커널 SVM으로 예측하기 [계산]

근거: 식 (12.38), 12.4절

RBF 커널 $k(x,x')=\exp\!\big(-\frac12\|x-x'\|^2\big)$. 서포트 벡터 $x_1=(0,0)$, $y_1=+1$, $\alpha_1=1$과 $x_2=(1,1)$, $y_2=-1$, $\alpha_2=1$, $b=0$이 주어졌다고 하자. 결정 함수는 $f(x)=\sum_n\alpha_ny_nk(x_n,x)+b$다.

(a) $x_*=(0,1)$, $(0,\,0.5)$, $(2,2)$에서 $f$와 예측 레이블을 구하라. ($e^{-0.5}\approx0.6065$, $e^{-0.125}\approx0.8825$, $e^{-0.625}\approx0.5353$, $e^{-1}\approx0.3679$, $e^{-4}\approx0.0183$) (b) 결정 경계를 구하라. (c) 왜 $w$를 직접 계산하지 않는가?

12-8. SVM 개념 [서술]

근거: 12.2~12.4절

(a) 서포트 벡터란 무엇인가? $\alpha_n=0$인 점을 지워도 해가 그대로인 이유는? (b) $0<\alpha_n<C$인 점과 $\alpha_n=C$인 점은 기하학적으로 어떻게 다른가? (c) 원 문제 대신 쌍대 문제를 푸는 이유 두 가지를 말하라. (d) 소프트 마진 원 문제 (12.26a)가 볼록 최적화 문제인 이유는?

OX 퀴즈

8~12장 공통. 맞으면 O, 틀리면 X. 틀린 것은 고쳐 말해 본다.

1. MML의 PCA에서 데이터 공분산은 $\frac1{N-1}$로 나눈다.
2. 교재 (8.48)의 AIC는 값이 작을수록 좋은 모델이다.
3. MAP 추정은 매개변수의 사후분포 전체를 준다.
4. 사전분포 $\mathcal N(0,b^2I)$의 MAP 추정은 $\lambda=\sigma^2/b^2$인 정규화 최소제곱 (9.32)과 같다.
5. 베이즈 선형 회귀의 사후 예측 분산은 노이즈 분산 $\sigma^2$보다 작아질 수 있다.
6. $a\to d\leftarrow c$에서 $d$를 관측하면 $a$와 $c$가 독립이 된다.
7. PCA의 첫 주성분은 공분산의 가장 작은 고유값의 고유벡터다.
8. PCA의 평균 제곱 재구성 오차는 버린 고유값의 합이다.
9. GMM의 책임도 $r_{nk}$를 $k$에 대해 더하면 1이다.
10. EM 알고리즘은 항상 로그 가능도의 전역 최댓값에 수렴한다.
11. 가장 가까운 점에서 $y_n(\langle w,x_n\rangle+b)=1$로 크기를 고정하면 하드 마진 SVM의 마진은 $1/\|w\|$다.
12. 소프트 마진 SVM에서 $\alpha_n=0$인 점은 $w$에 기여하지 않는다.
13. 유효한 커널의 그람 행렬은 양의 준정부호다.
14. 9장의 데이터 행렬은 $D\times N$, 10장은 $N\times D$다.
15. 주변 가능도(증거)는 매개변수가 많은 모델을 항상 선호한다.