MML 10장 PCA: 분산 최대화, 재구성 오차, 확률적 PCA

교재 범위: Deisenroth, Faisal, Ong, Mathematics for Machine Learning(MML), pp. 317–347.
선후수 연결 및 의존성: 이 장은 비지도 학습(Unsupervised Learning)의 대표 기법인 차원 축소(Dimensionality Reduction)를 다룹니다. 3장의 직교 사영(Orthogonal Projection), 4장의 고유값 분해(Eigendecomposition) 및 특이값 분해(SVD), 7장의 등식 제약 조건 최적화(라그랑주 승수법, Lagrange Multipliers), 6장의 가우시안 확률 모델이 정확히 결합된 장입니다. 여기서 다루는 데이터 압축과 잠재 표현(Latent Representation)의 개념은 현대 오토인코더(Autoencoder), 확산 모델(Diffusion Model), 고차원 임베딩 분석의 기초를 이룹니다.

0. 이 장 지도 (Roadmap)

주성분 분석(PCA, Principal Component Analysis)은 고차원($D$차원) 공간에 흩어져 있는 데이터의 핵심 정보를 손실을 최소화하면서 저차원($M$차원, $M \ll D$) 공간으로 압축하는 선형 차원 축소 알고리즘입니다. MML 교재 10장은 PCA를 세 가지 서로 다른 심오한 관점에서 유도하고 이들이 왜 수학적으로 정확히 일치하는지를 증명합니다:

1. 분산 최대화 관점 (Maximum Variance): 사영된 데이터의 분산(정보량)을 가장 크게 만드는 축을 찾자!
2. 사영/재구성 오차 최소화 관점 (Minimum Reconstruction Error): 원래 데이터와 사영된 데이터 사이의 유클리드 거리 제곱 오차를 가장 작게 만들자!
3. 잠재 변수/확률론적 관점 (Latent Variable / Probabilistic PCA): 저차원 가우시안 잠재 변수로부터 고차원 데이터가 노이즈와 함께 생성되었다는 생성 모델을 세우자!

절 목록 및 핵심 요약

중요도 선정 근거:

• 10.2, 10.3, 10.4, 10.5, 10.7 (★★★): 라그랑주 승수법 유도, 두 관점의 동치성 증명, SVD 및 Eckart-Young 연결, $N < D$ 차원 축소 트릭, PPCA의 잠재변수 사후분포는 선형대수와 확률을 함께 쓰는 유도라 손으로 한 번씩 써 볼 만합니다.

graph TD
    A["10.1 차원 축소 문제 설정<br>(D차원 → M차원 압축)"] --> B["10.2 분산 최대화 관점<br>(Var = b₁ᵀ S b₁ 최대화)"]
    A --> C["10.3 사영/재구성오차 관점<br>(J = Σ ||xₙ - x̃ₙ||² 최소화)"]
    
    B --> D["고유값 문제 도출<br>S b₁ = λ₁ b₁"]
    C --> D
    
    D --> E["10.4 SVD 및 저계수 근사<br>(Eckart-Young 정리: X̃_M = U_M Σ_M V_Mᵀ)"]
    D --> F["10.5 고차원 PCA (N < D)<br>(N×N 그람 행렬 풀이: b_m ∝ X c_m)"]
    
    A --> G["10.7 확률적 PCA (PPCA)<br>(x = Bz + μ + ε, z ~ N(0,I))"]
    G --> H["잠재 사후분포 p(z|x)<br>(σ² → 0 극한 시 직교 사영 Bᵀ(x-μ)로 수렴)"]

10.1 문제 설정 (Problem Setting, 318쪽)

왜 필요한가 (직관과 개념)

현대 머신러닝 데이터는 차원이 매우 높습니다. 예를 들어 $28 \times 28$ 크기의 작은 흑백 이미지 하나만 해도 784차원 벡터($D = 784$)입니다. 하지만 고차원 데이터의 모든 축이 다 중요한 정보를 담고 있는 것은 아닙니다.

• 다중공선성과 중복성: 픽셀 값들끼리는 서로 강한 상관관계를 가집니다.
• 차원의 저주(Curse of Dimensionality): 차원이 높아질수록 데이터가 존재하는 공간의 부피가 기하급수적으로 팽창하여, 데이터를 채우기 위해 필요한 표본 수가 폭증하고 거리 개념이 무의미해집니다.
• 시각화의 한계: 인간은 3차원을 초과하는 공간을 직접 볼 수 없습니다.

따라서 데이터의 중요한 정보(본질적인 변동/분산)는 고스란히 보존하면서, 덜 중요한 정보(잡음/상관된 중복 축)를 쳐내어 $M$차원($M \ll D$)으로 데이터를 압축해야 합니다.

정의와 성질

1. 인코더(Encoder)와 디코더(Decoder)의 쌍

• 원본 고차원 데이터: $x_n \in \mathbb{R}^D$ ($n = 1, \dots, N$)
• 압축된 저차원 잠재 좌표 (코드): $z_n \in \mathbb{R}^M$ ($M < D$)
• 인코더 (Encoder, 사영/압축 매핑): $z_n = g(x_n) = B^\top (x_n - \mu)$
• 디코더 (Decoder, 복원/재구성 매핑): $\tilde{x}_n = h(z_n) = B z_n + \mu$

여기서:

• $B = [b_1, b_2, \dots, b_M] \in \mathbb{R}^{D \times M}$: $M$개의 정규직교(orthonormal) 기저 벡터로 이루어진 변환 행렬 ($B^\top B = I_M$)
• $\mu \in \mathbb{R}^D$: 데이터의 중심(오프셋 벡터, 보통 데이터 표본 평균)
• $\tilde{x}_n \in \mathbb{R}^D$: 저차원 코드 $z_n$으로부터 다시 $D$차원 공간으로 복원한 재구성 벡터(Reconstruction Vector)

10.2 분산 최대화 관점 (Maximum Variance Perspective, 320쪽)

왜 필요한가 (직관과 개념)

데이터를 1차원 직선 위로 사영(그림자 드리우기)한다고 상상해 보십시오.

• 만약 데이터가 길쭉하게 늘어선 방향으로 선을 긋고 사영하면, 데이터 포인트들이 서로 겹치지 않고 넓게 퍼져 원래의 위치 관계를 잘 유지합니다 (분산 최대화 $\to$ 정보 보존).
• 반대로 데이터가 좁게 모인 수직 방향으로 사영하면, 모든 점들이 한 덩어리로 뭉개져 버려 원래 어떤 점이 어디 있었는지 구별할 수 없게 됩니다 (정보 소실).

따라서 “사영된 데이터들의 분산(Variance)이 가장 커지도록 사영 축을 정하는 것”이 PCA의 첫 번째 핵심 철학입니다.

       [2차원 원본 데이터]           [최적 사영 방향 b₁ (최대 분산)]
              y                            y
              │    ●                       │    ● ╱
              │   ● ●                      │   ● ╱●   (점들이 길게 퍼짐:
              │  ● ● ●                     │  ● ╱● ●   정보 보존 우수!)
              │ ● ●                        │ ● ╱●
              └──────── x                  └───╱──── x
                                              b₁
                                     [나쁜 사영 방향 b₂ (최소 분산)]
                                           점들이 한 점으로 뭉개짐!

10.2.1 최대 분산 방향 유도 (Direction with Maximal Variance, 321쪽)

정의와 성질

1. 중심화 데이터 및 표본 공분산 행렬

데이터셋의 표본 평균을 $\mu = \frac{1}{N} \sum_{n=1}^N x_n$이라 할 때, 평균을 0으로 맞춘 중심화 데이터(Centered Data)를 가정합니다:

표본 공분산 행렬(Data Covariance Matrix) $S \in \mathbb{R}^{D \times D}$는 다음과 같이 정의됩니다:

• $X = [x_1, x_2, \dots, x_N] \in \mathbb{R}^{D \times N}$은 데이터 행렬입니다. 주의: 9장(회귀)은 데이터 점을 행으로 쌓아 $N\times D$로 쓰지만, 10장(교재 10.3절 식 (10.17)부터, 10.4절 SVD)은 점을 열로 세워 $D\times N$으로 쓴다. 그래서 9장의 $X^\top X$에 해당하는 것이 10장에서는 $XX^\top$이다. 두 장의 식을 섞어 쓸 때 전치를 확인한다. 주의: 9장(회귀)은 데이터 점을 행으로 쌓아 $N\times D$로 쓰지만, 10장(교재 10.3절 식 (10.17)부터, 10.4절 SVD)은 점을 열로 세워 $D\times N$으로 쓴다. 그래서 9장의 $X^\top X$에 해당하는 것이 10장에서는 $XX^\top$이다. 두 장의 식을 섞어 쓸 때 전치를 확인한다.
• $S$는 대칭(Symmetric) 행렬이며, 양의 준정부호(Positive Semi-Definite) 행렬입니다 ($x^\top S x \ge 0$).

교재 표기법 주의 (MML 관례): 통계학의 비편향 공분산은 자유도 분모로 $\frac{1}{N-1}$을 사용하지만, MML 교재와 머신러닝 교과서(Bishop 등)에서는 최대가능도 표본 공분산 관례인 $\frac{1}{N}$을 일관되게 사용합니다. 본 해설서도 교재 관례인 $\frac{1}{N}$을 엄격히 따릅니다.

2. 1차원 사영 분산의 수식화

길이가 1인 단위 방향 벡터 $b_1 \in \mathbb{R}^D$ ($b_1^\top b_1 = 1$) 위로 데이터 $x_n$을 사영한 스칼라 좌표는 $z_{n1} = b_1^\top x_n$ 입니다.

• 사영된 데이터의 평균: $\frac{1}{N} \sum_{n=1}^N z_{n1} = \frac{1}{N} \sum_{n=1}^N b_1^\top x_n = b_1^\top \left( \frac{1}{N} \sum_{n=1}^N x_n \right) = b_1^\top 0 = 0$
• 사영된 데이터의 분산 $V_1$: $V_1 = \frac{1}{N} \sum_{n=1}^N (z_{n1} - 0)^2 = \frac{1}{N} \sum_{n=1}^N (b_1^\top x_n)^2 = \frac{1}{N} \sum_{n=1}^N (b_1^\top x_n)(x_n^\top b_1)$ $= b_1^\top \left( \frac{1}{N} \sum_{n=1}^N x_n x_n^\top \right) b_1 = b_1^\top S b_1$

3. 라그랑주 승수법을 통한 최적화

목표는 단위 길이 제약 조건 $\|b_1\|^2 = b_1^\top b_1 = 1$ 하에서 분산 $b_1^\top S b_1$을 최대화하는 것입니다:

7장의 라그랑주 승수법(Lagrange Multipliers)에 따라 라그랑지안 함수를 세웁니다:

$b_1$에 대해 편미분하고 0으로 둡니다:

이것은 정확히 공분산 행렬 $S$의 고유값 방정식(Eigenvalue Equation)입니다!

• $b_1$은 공분산 행렬 $S$의 고유벡터(Eigenvector)이어야 합니다.
• $\lambda_1$은 이에 대응하는 고유값(Eigenvalue)입니다.

이때 사영된 데이터의 분산 값을 계산해 보면:

분산 $V_1$이 다름 아닌 고유값 $\lambda_1$ 그 자체가 됩니다! 따라서 분산 $V_1$을 최대로 만들려면, 수많은 고유값들 중에서 가장 큰 고유값(최대 고유값) $\lambda_1$에 대응하는 고유벡터 $b_1$을 선택해야 합니다. 이것이 바로 제1 주성분(First Principal Component)입니다.

10.2.2 최대 분산을 갖는 $M$차원 부분공간 (322쪽)

제2 주성분 $b_2$의 유도

제1 주성분 $b_1$과 겹치지 않는 새로운 정보를 포착하기 위해, $b_2$는 $b_1$과 서로 직교($b_2^\top b_1 = 0$)하면서 단위 길이($b_2^\top b_2 = 1$)를 만족해야 합니다:

두 개의 제약 조건을 라그랑지안에 넣습니다:

$b_2$로 미분:

양변 왼쪽에 $b_1^\top$을 곱합니다:

• $S$의 대칭성과 $S b_1 = \lambda_1 b_1$에 의해: $b_1^\top S b_2 = (S b_1)^\top b_2 = \lambda_1 b_1^\top b_2 = 0$
• 직교 조건에 의해 $b_1^\top b_2 = 0$
• 단위 길이에 의해 $b_1^\top b_1 = 1$ 따라서 $0 - 0 - \eta (1) = 0 \implies \eta = 0$이 됩니다!

결국 남는 방정식은 다시 단순한 고유값 방정식이 됩니다:

따라서 $b_2$ 역시 $S$의 고유벡터이며, $b_1$을 제외한 남은 고유값들 중 두 번째로 큰 고유값 $\lambda_2$에 대응하는 고유벡터를 선택해야 분산이 극대화됩니다.

일반화: $M$차원 주부분공간 (Principal Subspace)

귀납법(Mathematical Induction)에 의해, $M$차원 부분공간으로 분산을 최대화하며 사영할 때 최적의 정규직교 기저 $b_1, \dots, b_M$은 공분산 행렬 $S$의 가장 큰 고유값 $M$개($\lambda_1 \ge \lambda_2 \ge \dots \ge \lambda_M$)에 대응하는 고유벡터들입니다. 이때 $M$개 축으로 사영된 데이터의 총 분산의 합은 고유값들의 합과 같습니다:

10.3 사영 관점 / 재구성 오차 최소화 (Projection Perspective, 325쪽)

왜 필요한가 (직관과 개념)

10.2절에서는 “데이터를 사영했을 때 분산을 가장 크게 만들자"는 관점으로 출발했습니다. 10.3절에서는 완전히 다른, 그러나 매우 직관적인 공학적 관점에서 출발합니다: “원래 고차원 데이터 $x_n$과 저차원으로 압축했다가 다시 복원한 데이터 $\tilde{x}_n$ 사이의 차이(재구성 오차, Reconstruction Error)를 가장 작게 만들자!”

데이터를 압축해서 전송하거나 저장할 때 발생하는 왜곡을 최소화하겠다는 목표입니다. 이 최소 재구성 오차 문제는 분산 최대화 문제와 수학적으로 완전히 동일한 고유값 분해 해로 귀결됩니다.

                  xₙ (원래 고차원 데이터)
                  │ ╲
                  │   ╲  재구성 오차 벡터: xₙ - x̃ₙ
                  │     ╲ (길이 ||xₙ - x̃ₙ||를 최소화해야 함!)
                  ▼       ▼
                  x̃ₙ = b + B zₙ  ─── [아핀 부분공간 U]
                 (복원된 근사 벡터)

10.3.1 설정 및 목적함수 (Setting and Objective, 326쪽)

정의

$D$차원 벡터 공간 내에서 원점을 지나지 않을 수도 있는 $M$차원 아핀 부분공간(Affine Subspace) $U \subset \mathbb{R}^D$를 생각합니다.

• 아핀 부분공간의 정의: $U = \{ \tilde{x} \in \mathbb{R}^D \mid \tilde{x} = b + B z, \; z \in \mathbb{R}^M \}$
• $b \in \mathbb{R}^D$: 부분공간의 원점을 지정하는 오프셋 벡터(Offset Vector)
• $B = [b_1, \dots, b_M] \in \mathbb{R}^{D \times M}$: $U$의 방향을 결정하는 정규직교 기저 행렬 ($B^\top B = I_M$)
• $z_n = [z_{n1}, \dots, z_{nM}]^\top \in \mathbb{R}^M$: 데이터 $x_n$이 부분공간 $U$ 상에서 갖는 저차원 좌표 벡터 (코드)

복원된 벡터 $\tilde{x}_n$은 다음과 같이 기저 벡터들의 선형 결합에 오프셋을 더한 형태입니다:

목적함수: 평균 제곱 재구성 오차 (Average Squared Reconstruction Error)

우리의 목표는 원본 데이터와 복원 벡터 간의 유클리드 거리 제곱의 평균 $J$를 최소화하는 $b, B, \{z_n\}_{n=1}^N$을 찾는 것입니다:

10.3.2 최적 좌표 및 최적 오프셋 탐색 (327쪽)

1. 최적 잠재 좌표 $z_{nm}$ 도출

기저 행렬 $B$와 오프셋 $b$가 고정되어 있다고 가정하고, $J$를 특정 데이터의 $m$번째 좌표 $z_{nm}$에 대해 편미분합니다:

정규직교 기저의 성질 $b_m^\top b_j = \delta_{mj}$ (기저끼리 내적하면 $m=j$일 때만 1, 다르면 0)을 적용하면:

따라서 편도함수는 다음과 같이 극도로 단순해집니다:

이를 벡터 형태로 묶으면:

기하학적 의미: 최적의 저차원 좌표 $z_n$은 중심을 $b$로 이동시킨 데이터 벡터 $(x_n - b)$를 기저 벡터 $b_m$ 위로 직교 사영(내적)한 그림자의 길이입니다!

2. 최적 오프셋 벡터 $b$ 도출

최적 좌표 $z_n = B^\top (x_n - b)$를 목적함수에 대입하기 전, $J$를 오프셋 $b$에 대해 직접 편미분합니다:

양변을 2로 나누고 합 기호를 분배합니다:

표본 평균을 $\mu = \bar{x} = \frac{1}{N} \sum_{n=1}^N x_n$, 잠재 좌표 평균을 $\bar{z} = \frac{1}{N} \sum_{n=1}^N z_n$이라 두면:

앞서 구한 최적 좌표 공식의 평균을 취하면 $\bar{z} = B^\top (\mu - b)$이므로 대입합니다:

이 식은 $\mu - b$가 부분공간 방향($B$의 열공간) 안에 있기만 하면 성립한다. 즉 $b = \mu + Bw$ 꼴이면 모두 최적인데, 어느 것을 골라도 같은 아핀 부분공간이 되므로 가장 간단한 것을 고른다:

즉, 아핀 부분공간의 최적 원점(오프셋)은 데이터 전체의 표본 평균(중심)이어야 합니다!

따라서 최적 좌표와 복원 벡터는 다음과 같이 확정됩니다:

10.3.3 주부분공간 기저 탐색 및 동치성 증명 (329쪽)

이제 최적의 정규직교 기저 행렬 $B = [b_1, \dots, b_M]$를 결정해야 합니다. $D$차원 전체 공간 $\mathbb{R}^D$를 포괄하는 완전한 정규직교 기저 $(b_1, \dots, b_M, b_{M+1}, \dots, b_D)$를 생각합니다.

• 앞쪽 $M$개: 우리가 보존할 주부분공간 기저 ($B$)
• 뒤쪽 $D-M$개: 우리가 차원을 축소하면서 버릴 직교 여공간 기저

중심화된 데이터 벡터 $(x_n - \mu)$를 완전 정규직교 기저로 전개하면:

복원된 벡터 $\tilde{x}_n - \mu$는 앞쪽 $M$개의 기저 성분만 취한 것입니다:

따라서 원본 벡터와 복원 벡터의 차이(오차 벡터)는 정확히 버려진 뒤쪽 $D-M$개의 기저 성분의 합입니다:

기저들이 정규직교이므로 오차 벡터의 노름 제곱은 계수 제곱의 합과 같습니다:

이제 전체 데이터에 대해 평균 재구성 오차 $J_M$을 계산합니다:

괄호 안이 정확히 표본 공분산 행렬 $S$입니다!

정규직교 제약 조건 $b_j^\top b_j = 1$ 하에서 이 오차합 $J_M$을 최소화하려면, 10.2절의 라그랑주 승수법 결과에 의해 $b_j$는 $S$의 고유벡터여야 하며, 그 값은 고유값 $\lambda_j$가 됩니다:

결정적 결론 (두 관점의 일치):

• 재구성 오차 $J_M = \sum_{j=M+1}^D \lambda_j$를 최소화하려면, 버려지는 $D-M$개의 고유값을 가장 작은 고유값들로 골라야 합니다!
• 버려지는 고유값이 가장 작다는 것은, 거꾸로 우리가 보존하는 앞쪽 $M$개의 고유값 $\lambda_1, \dots, \lambda_M$이 가장 큰 고유값들이어야 함을 뜻합니다.
• 따라서 “재구성 오차 최소화"와 “사영 분산 최대화"는 완전히 동일한 고유값 분해 문제입니다!

[필수 손계산] 작은 2차원 데이터셋으로 PCA 처음부터 끝까지 손계산하기

작은 2차원 데이터셋($N=4, D=2, M=1$)을 이용해 중심화부터 공분산, 고유값/고유벡터, 1차원 좌표 사영, 2차원 공간 복원, 재구성 오차 검산까지 모든 계산 단계를 한 줄도 생략하지 않고 손으로 풀어봅시다.

문제 설정

4개의 2차원 데이터 포인트가 주어졌습니다:

이 데이터를 PCA를 통해 1차원($M=1$)으로 차원 축소하시오.

[1단계] 표본 평균 $\mu$ 및 중심화 데이터 $X_c$ 계산

각 데이터에서 평균 $\mu$를 뺍니다:

• $x_1 - \mu = \begin{bmatrix} 1 - 2.5 \\ 1 - 2.5 \end{bmatrix} = \begin{bmatrix} -1.5 \\ -1.5 \end{bmatrix} = \begin{bmatrix} -3/2 \\ -3/2 \end{bmatrix}$
• $x_2 - \mu = \begin{bmatrix} 2 - 2.5 \\ 3 - 2.5 \end{bmatrix} = \begin{bmatrix} -0.5 \\ 0.5 \end{bmatrix} = \begin{bmatrix} -1/2 \\ 1/2 \end{bmatrix}$
• $x_3 - \mu = \begin{bmatrix} 3 - 2.5 \\ 2 - 2.5 \end{bmatrix} = \begin{bmatrix} 0.5 \\ -0.5 \end{bmatrix} = \begin{bmatrix} 1/2 \\ -1/2 \end{bmatrix}$
• $x_4 - \mu = \begin{bmatrix} 4 - 2.5 \\ 4 - 2.5 \end{bmatrix} = \begin{bmatrix} 1.5 \\ 1.5 \end{bmatrix} = \begin{bmatrix} 3/2 \\ 3/2 \end{bmatrix}$

중심화 데이터 행렬 $X_c \in \mathbb{R}^{2 \times 4}$:

[2단계] 표본 공분산 행렬 $S = \frac{1}{N} X_c X_c^\top$ 계산

• (1,1) 원소 (첫 번째 좌표의 분산): $S_{11} = \frac{1}{4} \left( (-1.5)^2 + (-0.5)^2 + 0.5^2 + 1.5^2 \right) = \frac{1}{4} (2.25 + 0.25 + 0.25 + 2.25) = \frac{1}{4}(5.0) = 1.25 = \frac{5}{4}$
• (2,2) 원소 (두 번째 좌표의 분산): $S_{22} = \frac{1}{4} \left( (-1.5)^2 + 0.5^2 + (-0.5)^2 + 1.5^2 \right) = \frac{1}{4} (2.25 + 0.25 + 0.25 + 2.25) = 1.25 = \frac{5}{4}$
• (1,2) 및 (2,1) 원소 (공분산): $\begin{aligned} S_{12} &= S_{21} \\ &= \frac{1}{4} \bigl( (-1.5)(-1.5) + (-0.5)(0.5) \\ &\quad + (0.5)(-0.5) + (1.5)(1.5) \bigr) \end{aligned}$ $= \frac{1}{4} (2.25 - 0.25 - 0.25 + 2.25) = \frac{1}{4}(4.0) = 1.0 = 1$

따라서 공분산 행렬은 다음과 같습니다:

[3단계] 고유값 및 고유벡터 계산

특성방정식(Characteristic Equation): $\det(S - \lambda I) = 0$

• $\lambda_1 = \frac{5}{4} + 1 = \frac{9}{4} = 2.25$ (최대 고유값)
• $\lambda_2 = \frac{5}{4} - 1 = \frac{1}{4} = 0.25$ (최소 고유값)

총 분산 확인:

제1 주성분이 설명하는 분산 비율(Explained Variance Ratio):

고유벡터 $b_1$ 구하기 ($\lambda_1 = 9/4$):

단위 벡터로 정규화: $\|b_1\|^2 = v_1^2 + v_2^2 = 2 v_1^2 = 1 \implies v_1 = \frac{1}{\sqrt{2}}$

고유벡터 $b_2$ 구하기 ($\lambda_2 = 1/4$):

단위 벡터로 정규화:

[4단계] 1차원 잠재 좌표 $z_n$ 계산 (사영/인코딩)

$M=1$이므로 기저 행렬은 $B = b_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ 입니다. 공식: $z_n = b_1^\top (x_n - \mu)$

• $n=1$: $z_1 = \frac{1}{\sqrt{2}} [1, 1] \begin{bmatrix} -1.5 \\ -1.5 \end{bmatrix} = \frac{-1.5 - 1.5}{\sqrt{2}} = \frac{-3}{\sqrt{2}} = -\frac{3\sqrt{2}}{2} \approx -2.121$
• $n=2$: $z_2 = \frac{1}{\sqrt{2}} [1, 1] \begin{bmatrix} -0.5 \\ 0.5 \end{bmatrix} = \frac{-0.5 + 0.5}{\sqrt{2}} = 0$
• $n=3$: $z_3 = \frac{1}{\sqrt{2}} [1, 1] \begin{bmatrix} 0.5 \\ -0.5 \end{bmatrix} = \frac{0.5 - 0.5}{\sqrt{2}} = 0$
• $n=4$: $z_4 = \frac{1}{\sqrt{2}} [1, 1] \begin{bmatrix} 1.5 \\ 1.5 \end{bmatrix} = \frac{1.5 + 1.5}{\sqrt{2}} = \frac{3}{\sqrt{2}} = \frac{3\sqrt{2}}{2} \approx 2.121$

사영된 데이터의 표본 분산 검산:

사영된 좌표의 분산이 정확히 최대 고유값 $\lambda_1 = 2.25$와 정확히 일치합니다.

[5단계] 2차원 공간으로 복원 $\tilde{x}_n$ 계산 (디코딩)

공식: $\tilde{x}_n = \mu + b_1 z_n$

• $n=1$: $\tilde{x}_1 = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} + \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix} \left(-\frac{3}{\sqrt{2}}\right) = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} + \begin{bmatrix} -1.5 \\ -1.5 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}$ (원래 점 $x_1 = [1, 1]^\top$과 오차 없이 정확히 복원!)
• $n=2$: $\tilde{x}_2 = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} + \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix} (0) = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix}$
• $n=3$: $\tilde{x}_3 = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} + \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix} (0) = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix}$
• $n=4$: $\tilde{x}_4 = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} + \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix} \left(\frac{3}{\sqrt{2}}\right) = \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} + \begin{bmatrix} 1.5 \\ 1.5 \end{bmatrix} = \begin{bmatrix} 4 \\ 4 \end{bmatrix}$ (원래 점 $x_4 = [4, 4]^\top$과 오차 없이 정확히 복원!)

[6단계] 재구성 오차 검산 ($J_1 = \lambda_2$ 확인)

각 데이터별 재구성 오차 제곱:

• $\|x_1 - \tilde{x}_1\|^2 = \left\| \begin{bmatrix} 1 \\ 1 \end{bmatrix} - \begin{bmatrix} 1 \\ 1 \end{bmatrix} \right\|^2 = 0$
• $\|x_2 - \tilde{x}_2\|^2 = \left\| \begin{bmatrix} 2 \\ 3 \end{bmatrix} - \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} \right\|^2 = (-0.5)^2 + (0.5)^2 = 0.25 + 0.25 = 0.5$
• $\|x_3 - \tilde{x}_3\|^2 = \left\| \begin{bmatrix} 3 \\ 2 \end{bmatrix} - \begin{bmatrix} 2.5 \\ 2.5 \end{bmatrix} \right\|^2 = (0.5)^2 + (-0.5)^2 = 0.25 + 0.25 = 0.5$
• $\|x_4 - \tilde{x}_4\|^2 = \left\| \begin{bmatrix} 4 \\ 4 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} \right\|^2 = 0$

평균 제곱 재구성 오차:

버려진 두 번째 고유값:

이로써 수식의 모든 이론적 성질이 한 치의 오차도 없이 손계산으로 증명되었습니다!

10.4 고유벡터 계산과 저계수 근사 (333쪽)

왜 필요한가 (직관과 개념)

10.2절과 10.3절에서 우리는 PCA의 최적 기저가 공분산 행렬 $S$의 고유벡터임을 보였습니다. 그렇다면 컴퓨터는 실제로 이 고유벡터들을 어떻게 계산할까요? 공분산 행렬 $S = \frac{1}{N}XX^\top$를 먼저 만들고 고유값 분해를 하는 것은 계산 오차(수치적 불안정성)와 불필요한 메모리 낭비를 유발합니다. 10.4절은 4장에서 배운 특이값 분해(SVD, Singular Value Decomposition)를 통해 공분산 행렬을 직접 만들지 않고도 데이터 행렬 $X$ 자체로부터 PCA를 우아하고 안정적으로 수행하는 수학적 원리를 밝힙니다.

10.4.1 저계수 행렬 근사를 통한 PCA와 Eckart-Young 정리 (334쪽)

1. 중심화 데이터 행렬의 SVD

중심화된 데이터 행렬 $X = [x_1 - \mu, \dots, x_N - \mu] \in \mathbb{R}^{D \times N}$의 특이값 분해는 다음과 같습니다:

• $U \in \mathbb{R}^{D \times D}$: 좌측 특이벡터(Left Singular Vectors)로 이루어진 직교 행렬 ($U^\top U = U U^\top = I_D$)
• $V \in \mathbb{R}^{N \times N}$: 우측 특이벡터(Right Singular Vectors)로 이루어진 직교 행렬 ($V^\top V = V V^\top = I_N$)
• $\Sigma \in \mathbb{R}^{D \times N}$: 직사각형 대각 행렬, 대각 원소에 특이값(Singular Values)이 내림차순 정렬됨 ($\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_{\min(D, N)} \ge 0$)

2. 공분산 행렬 $S$와 SVD의 직접 연결

표본 공분산 행렬 $S$에 SVD 식을 대입합니다:

$V$는 직교 행렬이므로 $V^\top V = I_N$으로 소거됩니다:

여기서 $\Sigma \Sigma^\top \in \mathbb{R}^{D \times D}$는 대각 행렬입니다:

이것은 정확히 공분산 행렬 $S$의 스펙트럼 분해(고유값 분해) $S = U \Lambda U^\top$의 형태입니다! 따라서:

• 공분산 행렬 $S$의 고유벡터들은 다름 아닌 데이터 행렬 $X$의 좌측 특이벡터(행렬 $U$의 열벡터들 $u_d$)입니다!
• 공분산 행렬 $S$의 고유값들 $\lambda_d$과 데이터 행렬 $X$의 특이값들 $\sigma_d$ 사이의 관계: $\lambda_d = \frac{\sigma_d^2}{N}$

3. Eckart-Young-Mirsky 정리와의 일치

선형대수학의 유명한 에카르트-영 정리(Eckart-Young Theorem)에 따르면, 임의의 행렬 $X$에 대해 계수(rank)가 $M$ 이하인 행렬들 중 스펙트럼 노름 $\|X - A\|_2$(교재 식 (10.50), 정리 4.25)를 최소화하는 최적의 계수 $M$ 근사 행렬 $\tilde{X}_M$은 상위 $M$개의 특이값만 남긴 절단 SVD(Truncated SVD)입니다:

교재 밖 보충: 같은 결론이 프로베니우스 노름 $\|X - A\|_F$에서도 성립한다(Eckart–Young–Mirsky). 재구성 오차 $J_M$은 프로베니우스 노름 쪽과 직접 연결된다: $\frac{1}{N}\|X - \tilde{X}_M\|_F^2 = \frac{1}{N}\sum_{j>M}\sigma_j^2 = \sum_{j>M}\lambda_j$.

한편, PCA에서 데이터를 상위 $M$개 주성분으로 사영했다가 복원한 행렬 $\tilde{X}$는:

정확히 에카르트-영 정리의 최적 저계수 근사 행렬 $\tilde{X}_M$과 수학적으로 완전히 일치합니다! 즉, PCA는 통계학적으로는 “분산 최대화"이지만, 행렬 대수학적으로는 “데이터 행렬의 최적 저계수 근사(Optimal Low-Rank Approximation)”입니다.

10.4.2 실무적 계산 고려사항 (334쪽)

1. 아벨-루피니 정리(Abel-Ruffini Theorem)와 고유값 계산:
   • 5차 이상의 다항식은 일반적인 대수적 근의 공식(사칙연산과 거듭제곱근)이 존재하지 않습니다.
   • 따라서 $D \ge 5$인 행렬의 특성방정식 $\det(S - \lambda I) = 0$은 손으로 풀 수 없으며, 컴퓨터는 반드시 반복적인 수치 해석 알고리즘(수치선형대수)을 사용해야 합니다.
2. 거듭제곱법 (Power Iteration):
   • 최대 고유벡터 하나를 빠르게 찾을 때 임의의 벡터 $v_0$에 행렬 $S$를 반복해서 곱하는 방법: $v_{k+1} = \frac{S v_k}{\|S v_k\|}$
   • $k \to \infty$로 갈 때, 최대 고유값에 대응하는 고유벡터로 지수적으로 수렴합니다.
3. QR 알고리즘 및 Lanczos 알고리즘 (교재 밖 보충, 교재는 “현대 선형대수 패키지의 반복법"이라고만 쓴다):
   • 모든 고유쌍을 구할 때는 직교-상삼각 분해를 반복하는 QR 알고리즘이 표준이며, 희소 행렬이나 거대 행렬에서는 란초스(Lanczos) 알고리즘이 사용됩니다.

10.5 고차원 데이터에서의 PCA (PCA in High Dimensions, $N < D$, 335쪽)

왜 필요한가 (직관과 연산량 비교)

생체 유전자(DNA 마이크로어레이) 데이터나 고해상도 얼굴 이미지 인식(Eigenfaces) 문제에서는 샘플 수 $N$은 100개에 불과한데, 특징 차원 $D$는 10,000차원 이상인 경우가 비일비재합니다 ($N \ll D$).

• 공분산 행렬 $S = \frac{1}{N}XX^\top$의 크기는 $10,000 \times 10,000$이 됩니다!
• 원소 개수만 1억 개이며, 이 거대한 행렬의 고유값을 계산하는 알고리즘($\mathcal{O}(D^3)$)은 약 $10^{12}$회의 연산을 필요로 하므로 메모리가 터지거나 연산이 멈춥니다.
• 하지만 데이터 포인트가 $N$개뿐이므로, 이 데이터들이 $D$차원 공간에서 펼쳐낼 수 있는 부분공간의 계수(rank)는 기껏해야 $N$차원에 불과합니다. 나머지 $D-N$개의 축 방향으로는 데이터가 전혀 없으므로 분산(고유값)이 정확히 0입니다!