MML 9장 선형회귀: 정규방정식, MAP, 베이즈 선형회귀

교재 범위: Deisenroth, Faisal, Ong, Mathematics for Machine Learning(MML), pp. 289–316.
선후수 연결 및 의존성: 이 장은 지도학습(Supervised Learning)의 가장 기본이자 핵심인 연속값 함수 근사 문제를 다룹니다. 2~3장의 벡터 공간·기저·직교 사영(Orthogonal Projection), 5장의 행렬 미분과 경사도(Gradient), 6장의 가우시안 분포 및 베이즈 정리(Bayes’ Theorem), 7장의 볼록 최적화(Convex Optimization) 기법이 결합하여 완성됩니다. 본 장에서 확립된 최대가능도(MLE)와 베이즈 추론(Bayesian Inference)의 틀은 10장(PCA), 11장(가우스 혼합 모델 GMM), 12장(서포트 벡터 머신 SVM)으로 이어지는 기계학습 핵심 모델의 토대가 됩니다.

0. 이 장 지도 (Roadmap)

선형 회귀(Linear Regression)는 입력 데이터 $x$와 목표값(타깃) $y$ 사이의 관계를 매개변수 $\theta$에 대해 선형인 함수로 모델링하는 기법입니다. 본 장의 핵심 흐름은 “단순 최적화(MLE) $\to$ 과적합 문제 인식 $\to$ 확률적 사전 믿음 추가(MAP / 규제화) $\to$ 불확실성을 완전히 다루는 베이즈 추론(Bayesian Linear Regression) $\to$ 기하학적 본질(직교 사영) 규명”으로 발전합니다.

절 목록 및 핵심 요약

중요도 선정 근거:

• 9.2.1, 9.2.3, 9.2.4, 9.4 (★★★): 행렬 미분, 정규방정식 계산, 릿지 회귀의 역행렬 유도, 직교 사영의 기하학은 머신러닝 기초 수학 전반에서 가장 빈번하게 계산과 증명을 요구하는 핵심 영역입니다.
• 9.3.3, 9.3.4, 9.3.5 (★★★): 가우시안 사후분포 유도(제곱 완성법), 예측 불확실성 분해(인식론적 vs 우연적), 주변 가능도(Evidence) 계산은 고급 기계학습(11장 GMM, 가우스 과정, 베이지안 딥러닝)의 필수 관문입니다.
• 9.1, 9.2.2, 9.3.1, 9.3.2 (★★☆): 모델 정의와 개념 이해를 위해 필수적인 징검다리 단계입니다.

graph TD
    A["9.1 선형 회귀 문제 정의<br>(y = φ(x)ᵀθ + ε)"] --> B["9.2.1 최대가능도 추정 (MLE)<br>(정규방정식: ΦᵀΦθ = Φᵀy)"]
    B --> C["9.2.2 과적합 발생<br>(차수 M 증가 시 파라미터 폭증)"]
    C --> D["9.2.3 최대 사후확률 추정 (MAP)<br>(가우시안 사전분포 결합)"]
    D --> E["9.2.4 규제화 (Regularization)<br>(Ridge 회귀와 동치: λ = σ²/b²)"]
    
    A --> F["9.3 베이즈 선형 회귀<br>(파라미터 θ의 분포 추론)"]
    F --> G["9.3.3 사후분포 p(θ|X,y)<br>(S_N⁻¹ = S_0⁻¹ + σ⁻²ΦᵀΦ)"]
    G --> H["9.3.4 사후 예측 분포 p(y*|x*)<br>(평균: MAP와 일치, 분산: 불확실성 정량화)"]
    G --> I["9.3.5 주변 가능도 p(y|X)<br>(오컴의 면도날: 모델 선택)"]
    
    B --> J["9.4 기하학적 관점<br>(데이터 공간 ℝᴺ에서의 직교 사영)"]

9.1 문제 정의 (Problem Formulation, 291쪽)

왜 필요한가 (직관과 개념)

기계학습에서 지도학습(Supervised Learning)의 목표는 입력 변수 $x$로부터 연속적인 출력 변수 $y$를 예측하는 규칙(함수 $f$)을 찾는 것입니다. 이를 회귀(Regression, 곡선 적합/Curve Fitting)라고 부릅니다.

현실 세계에서 우리가 관측하는 데이터는 결코 완전하지 않습니다. 센서의 오차, 측정의 한계, 모델이 미처 고려하지 못한 무수한 환경적 요인으로 인해 항상 잡음(노이즈, noise)이 섞여 있습니다. 따라서 우리는 단순하게 관측된 점들을 선으로 잇는 것이 아니라, “노이즈 뒤에 숨겨진 참된 시스템 함수 $f(x)$”를 복원해야 합니다.

[관측 데이터] (x₁, y₁), (x₂, y₂), ..., (x_N, y_N)
                 │
                 ▼
         y_n = f(x_n) + ε_n   (노이즈 ε_n이 섞여 있음)
                 │
                 ▼
[목표] 새로운 입력 x_*가 주어졌을 때 신뢰할 수 있는 y_* 예측하기

정의와 성질

1. 기본 확률적 데이터 생성 모델

• 입력 데이터: $x_n \in \mathbb{R}^D$ ($D$차원 입력 벡터, $n = 1, \dots, N$)
• 관측 목표값: $y_n \in \mathbb{R}$ (스칼라 값)
• 노이즈 모델: $\epsilon_n \sim \mathcal{N}(0, \sigma^2)$ (평균 0, 분산 $\sigma^2$을 갖는 독립동일분포(i.i.d.) 가우시안 노이즈)
• 관측 방정식: $y_n = f(x_n) + \epsilon_n$ 노이즈가 평균이 0인 가우시안이므로, 입력 $x_n$이 주어졌을 때 목표값 $y_n$의 조건부 확률분포(우도, Likelihood)는 다음과 같습니다: $p(y_n \mid x_n) = \mathcal{N}(y_n \mid f(x_n), \sigma^2)$

2. 선형 회귀 모델의 정의

교재에서 정의하는 선형 회귀 함수 $f$는 다음과 같습니다:

여기서 $\theta \in \mathbb{R}^D$는 우리가 학습해야 할 모수(매개변수 벡터, parameter vector)입니다.

3. 비선형 특징 변환(Non-linear Feature Transformation, $\phi(x)$)

입력 $x$와 출력 $y$ 사이의 관계가 직선(평면)이 아닌 곡선일 경우, 입력 벡터 $x$를 비선형 기저 함수(basis functions)를 통해 $K$차원 특징 공간으로 변환합니다:

이때 회귀 함수는 다음과 같이 확장됩니다:

매우 중요한 포인트: 기저 함수 $\phi(x)$가 $x$에 대해 비선형(예: $x^2, \sin(x), \exp(x)$)이라 할지라도, 함수 $f$는 모수 $\theta$에 대해서는 여전히 선형(Linear)입니다! 기계학습에서 ‘선형 회귀’라고 부르는 이유는 입력 $x$에 대해 선형이어서가 아니라, 미지의 모수 $\theta$에 대해 1차 결합(선형) 형태를 유지하기 때문입니다. 이 성질 덕분에 최적의 $\theta$를 찾는 문제가 항상 해석적(닫힌 형태, closed-form)으로 풀리게 됩니다.

4. 행렬 및 벡터 표기법 (Matrix Notation)

$N$개의 훈련 데이터를 수식으로 다루기 위해 행렬로 묶습니다:

• 목표값 벡터: $y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{bmatrix} \in \mathbb{R}^N$
• 설계 행렬 (Design Matrix / Feature Matrix): $\Phi = \begin{bmatrix} \phi(x_1)^\top \\ \phi(x_2)^\top \\ \vdots \\ \phi(x_N)^\top \end{bmatrix} = \begin{bmatrix} \phi_1(x_1) & \phi_2(x_1) & \dots & \phi_K(x_1) \\ \phi_1(x_2) & \phi_2(x_2) & \dots & \phi_K(x_2) \\ \vdots & \vdots & \ddots & \vdots \\ \phi_1(x_N) & \phi_2(x_N) & \dots & \phi_K(x_N) \end{bmatrix} \in \mathbb{R}^{N \times K}$
• 특징 변환이 없는 표준 선형 회귀(절편 포함)의 경우, $\phi(x) = [1, x_1, \dots, x_D]^\top$이 되며 $\Phi \in \mathbb{R}^{N \times (D+1)}$이 됩니다.

손으로 풀어 보는 예제

[문제] 1차원 입력 데이터 3개 ($N=3$)가 주어졌습니다:

절편(bias)을 포함하는 1차 직선 모델 $f(x) = \theta_0 + \theta_1 x$를 세우고자 합니다.

1. 특징 함수 벡터 $\phi(x)$를 정의하시오.
2. 설계 행렬 $\Phi$와 타깃 벡터 $y$를 숫자로 구체적으로 구성하시오.

[풀이]

1. 절편 $\theta_0$에 대응하는 상수를 1로 두고, 기울기 $\theta_1$에 대응하는 입력을 $x$로 두면:

   $$\phi(x) = \begin{bmatrix} 1 \\ x \end{bmatrix} \in \mathbb{R}^2, \quad \theta = \begin{bmatrix} \theta_0 \\ \theta_1 \end{bmatrix} \in \mathbb{R}^2$$

   따라서 $f(x) = \phi(x)^\top \theta = [1, x] \begin{bmatrix} \theta_0 \\ \theta_1 \end{bmatrix} = \theta_0 + \theta_1 x$가 성립합니다.

2. 데이터 $x_1 = 0, x_2 = 1, x_3 = 2$를 각각 대입하여 행 벡터로 쌓습니다:

   • $n=1$: $\phi(x_1)^\top = [1, 0]$
   • $n=2$: $\phi(x_2)^\top = [1, 1]$
   • $n=3$: $\phi(x_3)^\top = [1, 2]$

   따라서 설계 행렬 $\Phi$와 타깃 벡터 $y$는 다음과 같습니다:

   $$\begin{aligned} \Phi &= \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \in \mathbb{R}^{3 \times 2}, \\ y &= \begin{bmatrix} 1 \\ 3 \\ 4 \end{bmatrix} \in \mathbb{R}^3 \end{aligned}$$

헷갈리는 점 / 자주 하는 실수

1. 설계 행렬의 크기 혼동: 행의 개수는 데이터 샘플 수 $N$이고, 열의 개수는 특징 차원 수 $K$ (또는 $D+1$)입니다. $N \times K$ 행렬임을 항상 명심해야 합니다. 전치 행렬 $\Phi^\top$은 $K \times N$입니다.
2. 선형성의 의미 왜곡: “곡선을 표현하니까 비선형 회귀다"라고 생각하기 쉽습니다. 회귀 문제에서 선형/비선형을 판별하는 기준은 입력 $x$가 아니라 모수 $\theta$입니다. $f(x) = \theta_1 x + \theta_2 x^2 + \theta_3 \sin(x)$는 $x$에 대해서는 매우 복잡한 비선형이지만, $\theta$에 대해서는 일차 결합이므로 명백한 선형 회귀입니다. 반면 $f(x) = \frac{1}{1 + e^{-\theta x}}$는 $\theta$에 대해 비선형이므로 비선형 모델입니다.

9.2 모수 추정 (Parameter Estimation, 292쪽)

주어진 훈련 데이터 $\mathcal{D} = \{(x_n, y_n)\}_{n=1}^N$에 가장 잘 들어맞는 모수 $\theta$를 어떻게 찾아낼 수 있을까요? 9.2절에서는 이를 해결하기 위해 두 가지 대표적인 점 추정(point estimation) 기법인 최대가능도 추정(MLE)과 최대 사후확률 추정(MAP)을 다룹니다.

9.2.1 최대가능도 추정법 (Maximum Likelihood Estimation, 293쪽)

왜 필요한가 (직관과 개념)

“우리가 관측한 데이터 $y$가 나타날 확률(가능도, Likelihood)이 가장 높아지도록 모수 $\theta$를 설정하자"는 것이 최대가능도 추정의 기본 아이디어입니다. 노이즈가 평균 0인 정규분포(가우시안)를 따른다고 가정하면, 관측값 $y_n$이 모델의 예측값 $\phi(x_n)^\top \theta$에 가까울수록 확률밀도가 높아집니다. 따라서 모든 데이터 포인트에서 예측 오차의 제곱을 최소화하는 최소제곱법(Least Squares Method)과 최대가능도 추정은 수학적으로 정확히 일치하게 됩니다.

       가능도(Likelihood) 최대화
               ▲
               │ (로그 취하고 부호 반전)
               ▼
   음의 로그 가능도(Negative Log-Likelihood) 최소화
               ▲
               │ (가우시안 노이즈 가정 하에서)
               ▼
      제곱 오차합(Sum of Squared Errors) 최소화

정의와 성질

1. 가능도 함수 (Likelihood Function)

모든 데이터 포인트 $(x_n, y_n)$가 독립적으로 생성되었다고 가정(i.i.d.)하면, 전체 데이터셋 $Y = [y_1, \dots, y_N]^\top$의 결합 우도는 각 점 우도의 곱입니다:

이를 $N$차원 다변량 정규분포로 한 번에 표현하면:

• 평균 벡터: $\Phi \theta \in \mathbb{R}^N$ (모델의 예측값 벡터 $\hat{y}$)
• 공분산 행렬: $\sigma^2 I_N \in \mathbb{R}^{N \times N}$ (모든 데이터 포인트의 노이즈가 독립이고 동일한 분산 $\sigma^2$을 가짐)

2. 음의 로그 가능도 (Negative Log-Likelihood, NLL)

곱셈으로 이루어진 가능도 함수를 미분하기 편하게 만들기 위해 자연로그를 취하고 부호를 바꿉니다(로그는 단조 증가 함수이므로 최적화 위치는 변하지 않습니다):

여기서 $\theta$에 무관한 상수항과 양수 계수 $\frac{1}{2\sigma^2}$을 제외하면, 최대가능도 추정은 오차의 $L_2$ 노름 제곱을 최소화하는 최소제곱 문제로 귀결됩니다:

3. 경사도(Gradient)와 정규방정식 (Normal Equation)

목적함수를 $\theta$에 대해 행렬 미분합니다:

최적점에서는 경사도가 영벡터($0$)가 되어야 하므로:

이 방정식을 정규방정식(Normal Equation)이라고 부릅니다.

$\Phi^\top \Phi \in \mathbb{R}^{K \times K}$가 가역 행렬(역행렬이 존재)인 경우, 유일한 해석적 해가 도출됩니다:

4. 노이즈 분산 $\sigma^2$의 최대가능도 추정

NLL을 $\sigma^2$에 대해 편미분하여 0으로 두면:

즉, 최적 모델의 잔차 제곱 평균(MSE)이 곧 노이즈 분산의 MLE 추정량입니다.

손으로 풀어 보는 예제

앞선 9.1절의 3개 데이터 포인트를 그대로 사용해 $\theta_{ML}$을 손으로 끝까지 구해봅시다:

[1단계: $\Phi^\top \Phi$ 계산]

[2단계: 역행렬 $(\Phi^\top \Phi)^{-1}$ 계산] 행렬식(determinant): $\det(\Phi^\top \Phi) = (3)(5) - (3)(3) = 15 - 9 = 6 \neq 0$ (역행렬 존재)

[3단계: $\Phi^\top y$ 계산]

[4단계: $\theta_{ML}$ 곱셈 계산]

따라서 최적의 선형 함수는 $f(x) = \frac{7}{6} + \frac{3}{2}x$ ($y \approx 1.167 + 1.5x$) 입니다.

[5단계: 예측값 $\hat{y}$, 잔차 $e$, 노이즈 분산 $\sigma_{ML}^2$ 계산]

잔차 벡터 $e = y - \hat{y}$:

노이즈 분산 추정량:

헷갈리는 점 / 자주 하는 실수

1. $\Phi^\top \Phi$가 가역이 아닌 경우:
   • 데이터 수 $N$보다 특징 차원 $K$가 더 큰 경우 ($N < K$), $\Phi$의 계수(rank)는 최대 $N$이므로 $K \times K$ 행렬인 $\Phi^\top \Phi$의 계수도 최대 $N < K$가 되어 특이 행렬(Singular Matrix, 행렬식이 0)이 됩니다.
   • 이때는 정규방정식의 해가 무수히 많아지며, $(\Phi^\top \Phi)^{-1}$을 직접 구할 수 없습니다 (무어-펜로즈 유사역행렬 사용 필요).
2. 행렬 미분의 전치 기호 주의: MML은 스칼라를 벡터로 미분한 결과를 행벡터로 쓴다(5장). 그래서 교재 식 (9.11)은 $\frac{d\mathcal{L}}{d\theta}=\frac{1}{\sigma^2}\left(-y^\top\Phi+\theta^\top\Phi^\top\Phi\right)\in\mathbb{R}^{1\times K}$이다. 이 해설은 보기 편하게 전치한 열벡터로 썼다. 어느 쪽이든 0으로 두면 같은 정규방정식 $\Phi^\top\Phi\theta=\Phi^\top y$가 나온다.

9.2.2 선형 회귀에서의 과적합 (Overfitting in Linear Regression, 298쪽)

왜 필요한가 (직관과 개념)

다항 회귀(Polynomial Regression)에서 기저 함수를 $\phi(x) = [1, x, x^2, \dots, x^M]^\top$로 설정하면, 차수 $M$이 커질수록 모델이 표현할 수 있는 함수의 유연성(expressive power)이 급격히 증가합니다.

• $M$이 너무 작으면: 데이터의 진정한 곡선 패턴을 잡아내지 못함 (과소적합, Underfitting)
• $M$이 데이터 수 $N$에 육박하면: 데이터에 포함된 무작위 노이즈 하나하나까지 정확히 통과하려고 함수가 요동침 (과적합, Overfitting)

        Underfitting (M=0,1)      Good Fit (M=3)        Overfitting (M=9)
               y                        y                      y
               │     /                  │     ╭─╮              │   ╭╮  ╭╮
               │    /                   │    ╭╯ ╰╮             │  ╭╯╰╮╭╯╰╮
               │   /                    │   ╭╯   ╰╮            │ ╭╯  ╰╯  ╰╮
               └──/───── x              └───╯─────╰── x        └──╯───────╰── x
          오차가 매우 큼            진짜 함수를 복원         훈련 오차=0, 시험 오차=폭망

정의와 성질

1. 훈련 오차(Training Error)와 시험 오차(Test Error)의 괴리:
   • 차수 $M$이 증가할수록 훈련 데이터에 대한 제곱 오차 $E_{train} = \frac{1}{2}\|y - \Phi\theta\|^2$는 단조 감소하여, $M = N-1$이 되면 $0$이 됩니다.
   • 그러나 훈련에 사용되지 않은 새로운 입력 $x_*$에 대한 일반화 오차(Generalization/Test Error)는 특정 차수를 넘어서는 순간 기하급수적으로 폭증합니다.
2. 모수 크기(Parameter Magnitude)의 폭발:
   • 과적합이 일어날 때 발생하는 가장 결정적인 징후는 모수 벡터 $\theta$의 절댓값(노름 $\|\theta\|_2$)이 비정상적으로 거대해진다는 점입니다.
   • 인접한 데이터 포인트 사이의 아주 미세한 노이즈 차이를 맞추기 위해, 거대한 양수 계수와 거대한 음수 계수가 서로 아슬아슬하게 상쇄되면서 극단적인 진동을 만들어냅니다.

9.2.3 최대 사후확률 추정법 (Maximum A Posteriori Estimation, 300쪽)

왜 필요한가 (직관과 개념)

MLE는 데이터에만 전적으로 의존하기 때문에 데이터가 적거나 모델이 복잡하면 과적합에 무방비로 노출됩니다. “자연스러운 물리계나 일반적인 현상에서 회귀 계수 $\theta$가 수십만, 수백만 같은 극단적인 값을 가질 리 없다. $\theta$는 0 주변의 작은 값일 가능성이 높다"는 사전 지식(사전 믿음, Prior Belief)을 수학적으로 모델에 부여하는 방법이 바로 최대 사후확률 추정(MAP)입니다.

정의와 성질

1. 베이즈 정리와 사후확률 (Posterior)

모수 $\theta$의 사후확률분포 $p(\theta \mid X, Y)$는 가능도와 사전분포의 곱에 비례합니다:

• 사전분포 $p(\theta)$: 데이터를 관측하기 전에 모수에 대해 갖는 믿음. 교재에서는 평균 0, 분산 $b^2$을 갖는 등방성(isotropic) 가우시안 사전분포를 채택합니다: $p(\theta) = \mathcal{N}(\theta \mid 0, b^2 I) = (2\pi b^2)^{-\frac{K}{2}} \exp\left( -\frac{1}{2b^2} \theta^\top \theta \right)$
• MAP 추정량의 정의: 사후확률 밀도를 최대화(음의 로그 사후확률을 최소화)하는 모수: $\theta_{MAP} = \arg\max_\theta p(\theta \mid X, Y) = \arg\min_\theta \left\{ -\log p(Y \mid X, \theta) - \log p(\theta) \right\}$

2. 음의 로그 사후확률의 최소화

양변에 $\sigma^2$을 곱해 정리하면 다음과 같은 목적함수를 최소화하는 것과 같습니다:

3. 경사도 및 MAP 닫힌 형태 해 도출

목적함수를 $\theta$에 대해 미분하여 0으로 둡니다:

따라서 MAP 추정량은 다음과 같습니다:

수학적 보장: 만약 $b^2 > 0, \sigma^2 > 0$이면, 대칭 양의 준정부호(positive semi-definite) 행렬인 $\Phi^\top \Phi$에 양의 대각행렬 $\frac{\sigma^2}{b^2} I$가 더해지므로, 결과 행렬은 항상 엄격한 양의 정부호(strictly positive definite) 행렬이 되어 언제나 역행렬이 존재합니다! 즉, $N < K$인 경우에도 MAP 해는 유일하게 안정적으로 계산됩니다.

9.2.4 규제화 관점에서의 MAP 추정 (MAP Estimation as Regularization, 302쪽)

왜 필요한가 (직관과 개념)

통계학과 기계학습의 최적화 이론에서는 과적합을 막기 위해 손실함수에 가중치 크기에 대한 페널티 항을 인위적으로 더해주는 규제화(Regularization) 기법을 오랫동안 사용해 왔습니다. 9.2.4절은 이 순수 최적화적 기법이 확률론적 MAP 추정과 정확히 동일한 것임을 보여줍니다.

정의와 성질

1. 정규화 최소제곱법 (Regularized Least Squares / Ridge Regression)

손실함수는 데이터 적합도(오차) 항과 정규화 항(페널티)의 합으로 구성됩니다:

• 첫 번째 항: 데이터 부적합도(Misfit term) — 훈련 데이터를 얼마나 잘 맞추는가
• 두 번째 항: 정규화기(Regularizer) — 모수 벡터의 크기를 작게 유지하도록 강제
• $\lambda \ge 0$: 정규화 강도(Regularization parameter / 하이퍼파라미터)

이를 미분하여 구한 해는:

2. MAP와 능형 회귀(Ridge)의 동치성

MAP 추정량과 능형 회귀의 해를 비교하면 정확히 다음 관계가 성립함을 알 수 있습니다:

• 노이즈 $\sigma^2$이 클수록 $\to$ 관측 데이터를 덜 믿어야 하므로 규제 강도 $\lambda$를 높임
• 사전 믿음의 분산 $b^2$이 작을수록(모수가 0에 가깝다는 확신이 강할수록) $\to \lambda$를 높여 0으로 강하게 수축시킴
• 사전 믿음이 전혀 없으면 ($b^2 \to \infty$) $\to \lambda \to 0$이 되어 $\theta_{MAP} = \theta_{ML}$ (MLE로 복귀)

3. L1 규제 (LASSO)와 라플라스 사전분포 (Laplace Prior) (교재 9.5절 및 보충)

정규화 항을 $L_2$ 노름 대신 $L_1$ 노름 $\|\theta\|_1 = \sum |\theta_k|$로 바꾸면 라쏘(LASSO)가 됩니다:

확률론적으로 이는 모수의 사전분포를 가우시안 대신 라플라스 분포(Laplace Distribution)로 설정한 MAP 추정과 완전히 동치입니다:

라플라스 분포는 0 지점에서 뾰족한 첨점(모서리)을 가지므로, 최적화 과정에서 불필요한 가중치를 정확히 $0$으로 만들어 희소성(Sparsity)과 자동 변수 선택(Variable Selection) 효과를 낳습니다.

손으로 풀어 보는 예제

앞선 예제 ($\Phi^\top \Phi = \begin{bmatrix} 3 & 3 \\ 3 & 5 \end{bmatrix}, \Phi^\top y = \begin{bmatrix} 8 \\ 11 \end{bmatrix}$)에서, 노이즈 분산 $\sigma^2 = 1$, 사전분포 분산 $b^2 = 1$ ($\lambda = \sigma^2/b^2 = 1$)로 설정하고 $\theta_{MAP}$을 손으로 계산해 봅시다.

[1단계: $(\Phi^\top \Phi + \lambda I)$ 계산]

[2단계: 역행렬 계산]

[3단계: $\theta_{MAP}$ 계산]

[비교 및 분석]

• 최대가능도 추정량: $\theta_{ML} = \begin{bmatrix} 7/6 \\ 3/2 \end{bmatrix} \approx \begin{bmatrix} 1.167 \\ 1.500 \end{bmatrix}$
• MAP (능형 회귀) 추정량: $\theta_{MAP} = \begin{bmatrix} 1.000 \\ 1.333 \end{bmatrix}$
• 사전분포가 모수를 0 방향으로 끌어당김으로써 두 계수가 모두 작아진 것(수축, Shrinkage)을 두 눈으로 똑똑히 확인할 수 있습니다!

9.3 베이즈 선형 회귀 (Bayesian Linear Regression, 303쪽)

MLE와 MAP는 최적의 모수 $\theta$를 단 하나의 점(point estimate)으로 찾습니다. 하지만 다음과 같은 실전 상황을 상상해 보십시오:

• 훈련 데이터가 5개밖에 없는 영역과, 훈련 데이터가 10,000개나 몰려 있는 영역에서 모델의 예측값 $\hat{y}$이 동일하게 $3.5$로 나왔다면, 우리는 두 예측을 똑같이 신뢰할 수 있을까요?
• 당연히 데이터가 5개뿐인 영역의 예측은 매우 불확실합니다.

베이즈 접근법(Bayesian Approach)은 미지의 모수 $\theta$를 단일 상수가 아닌 확률 변수(random variable)로 취급합니다. 데이터 관측을 통해 $\theta$의 확률분포 전체를 갱신(사후분포)하고, 새로운 입력을 예측할 때도 단 하나의 숫자가 아니라 “예측값의 평균과 그 예측이 얼마나 불확실한지 나타내는 분산(신뢰 구간)”을 통째로 제공합니다.

9.3.1 모델 설정 (Model, 304쪽)

정의와 성질

1. 모수 사전분포 (Parameter Prior): 모수 $\theta \in \mathbb{R}^K$에 대한 사전 지식을 일반적인 다변량 가우시안 분포로 설정합니다:

   $$p(\theta) = \mathcal{N}(\theta \mid m_0, S_0)$$
   • $m_0 \in \mathbb{R}^K$: 사전 평균 벡터 (사전 지식이 없으면 보통 $0$)
   • $S_0 \in \mathbb{R}^{K \times K}$: 사전 공분산 행렬 (보통 $b^2 I$ 등 대칭 양의 정부호 행렬)

2. 관측 가능도 (Likelihood): 주어진 모수 $\theta$ 하에서 관측치 $y$의 조건부 분포:

   $$p(y \mid x, \theta) = \mathcal{N}(y \mid \phi(x)^\top \theta, \sigma^2)$$

3. 결합 분포 (Joint Distribution):

   $$p(y, \theta \mid x) = p(y \mid x, \theta) p(\theta)$$

9.3.2 사전 예측 (Prior Predictions, 304쪽)

왜 필요한가 (직관)

훈련 데이터를 한 개도 보기 전에, 우리가 가정한 사전분포 $p(\theta)$만으로 모델이 어떤 예측값들을 출력할 수 있는지 확인하는 단계입니다. 사전분포에서 $\theta$를 무작위로 여러 개 샘플링하여 함수 선 $f(x) = \phi(x)^\top \theta$들을 그려보면 모델의 사전 가정이 합리적인지 시각적으로 검증할 수 있습니다.

정의와 유도

새로운 입력 위치 $x_*$에서의 타깃 값 $y_*$의 사전 예측 분포는 모수 $\theta$에 대해 적분 소거(marginalize out)하여 구합니다:

이 적분은 가우시안 분포의 선형 변환 규칙을 사용하면 복잡한 적분 계산 없이 즉시 풀립니다:

• $y_* = \phi(x_*)^\top \theta + \epsilon$, 여기서 $\theta \sim \mathcal{N}(m_0, S_0)$이고 $\epsilon \sim \mathcal{N}(0, \sigma^2)$ (독립)
• 기댓값: $\mathbb{E}[y_* \mid x_*] = \mathbb{E}_\theta [\phi(x_*)^\top \theta] + \mathbb{E}[\epsilon] = \phi(x_*)^\top m_0 + 0 = \phi(x_*)^\top m_0$
• 분산: $\mathbb{V}[y_* \mid x_*] = \mathbb{V}_\theta [\phi(x_*)^\top \theta] + \mathbb{V}[\epsilon] = \phi(x_*)^\top S_0 \phi(x_*) + \sigma^2$

따라서 사전 예측 분포는 다음과 같은 단변량 가우시안 분포가 됩니다:

관측 노이즈 $\epsilon$을 제외한 순수 잠재 함수 값 $f(x_*) = \phi(x_*)^\top \theta$의 사전 분포는 단순히 노이즈 분산 $\sigma^2$만 빠진 형태입니다:

9.3.3 사후 분포 (Posterior Distribution, 306쪽)

데이터셋 $\mathcal{D} = (X, Y)$를 관측한 후, 모수 $\theta$의 사후 확률분포 $p(\theta \mid X, Y)$를 베이즈 정리로 계산합니다.

가우시안 우도와 가우시안 사전분포는 서로 켤레(Conjugate) 관계에 있으므로, 사후분포 역시 다변량 가우시안 분포가 됩니다.

정리 9.1 (모수 사후분포, Parameter Posterior)
선형 회귀 모델에서 사전분포 $p(\theta) = \mathcal{N}(m_0, S_0)$와 우도 $p(Y \mid X, \theta) = \mathcal{N}(y \mid \Phi\theta, \sigma^2 I)$가 주어졌을 때, 모수의 사후분포는 닫힌 형태의 가우시안 분포로 계산된다:

$$p(\theta \mid X, Y) = \mathcal{N}(\theta \mid m_N, S_N)$$

여기서 사후 공분산 행렬 $S_N$과 사후 평균 벡터 $m_N$은 다음과 같다:

$$\begin{aligned} S_N^{-1} &= S_0^{-1} + \sigma^{-2} \Phi^\top \Phi \\ &\iff S_N = \left( S_0^{-1} + \sigma^{-2} \Phi^\top \Phi \right)^{-1} \end{aligned}$$

$$m_N = S_N \left( S_0^{-1} m_0 + \sigma^{-2} \Phi^\top y \right)$$

제곱 완성법(Completing the Square)에 의한 증명 스케치

지수 함수 내부의 $\theta$에 대한 2차식들을 모읍니다:

괄호 안을 전개하여 $\theta$에 대한 2차항과 1차항으로 정리합니다:

일반적인 다변량 가우시안 $\mathcal{N}(\theta \mid m_N, S_N)$의 로그 확률밀도는 다음과 같습니다:

두 식의 2차 계수와 1차 계수를 항등식으로 직접 비교(matching coefficients)하면:

• 2차항 계수 매칭: $S_N^{-1} = S_0^{-1} + \sigma^{-2} \Phi^\top \Phi$
• 1차항 계수 매칭: $S_N^{-1} m_N = S_0^{-1} m_0 + \sigma^{-2} \Phi^\top y \implies m_N = S_N (S_0^{-1} m_0 + \sigma^{-2} \Phi^\top y)$
  증명이 정확히 끝납니다. (상세 유도는 본 문서 후반의 ‘핵심 유도 모음’ 참조)

직관적 해석 (정밀도 행렬, Precision Matrix):
공분산의 역행렬을 정밀도(Precision)라고 부릅니다.

• 사후 정밀도($S_N^{-1}$) = 사전 정밀도($S_0^{-1}$) + 데이터가 제공한 정밀도($\sigma^{-2}\Phi^\top\Phi$)
• 사후 정밀도 가중 평균($S_N^{-1} m_N$) = 사전 정보($S_0^{-1} m_0$) + 데이터 정보($\sigma^{-2}\Phi^\top y$)
  즉, 베이즈 추론은 기존의 지식에 데이터가 주는 정보를 단순 덧셈으로 누적하는 과정입니다!

9.3.4 사후 예측 분포 (Posterior Predictions, 308쪽)

왜 필요한가

새로운 테스트 입력 $x_*$가 주어졌을 때, 갱신된 모수 사후분포 $p(\theta \mid X, Y)$를 바탕으로 $y_*$의 분포를 예측합니다.

정의와 성질

이 역시 두 가우시안 분포의 선형 결합이므로 즉시 닫힌 형태가 됩니다:

• $y_* = \phi(x_*)^\top \theta + \epsilon$, 여기서 $\theta \sim \mathcal{N}(m_N, S_N)$, $\epsilon \sim \mathcal{N}(0, \sigma^2)$
• 사후 예측 평균: $\mathbb{E}[y_* \mid X, Y, x_*] = \phi(x_*)^\top m_N$
• 사후 예측 분산: $\sigma_N^2(x_*) = \mathbb{V}[y_* \mid X, Y, x_*] = \underbrace{\phi(x_*)^\top S_N \phi(x_*)}_{\text{인식론적 불확실성 (Epistemic)}} + \underbrace{\sigma^2}_{\text{우연적 불확실성 (Aleatoric)}}$

따라서 사후 예측 분포는:

                         예측 분산 σ_N²(x_*)의 구성
               ┌───────────────────────┬───────────────────────┐
               │ 인식론적 불확실성     │ 우연적 불확실성       │
               │ φ(x_*)ᵀ S_N φ(x_*)    │ σ²                    │
├──────────────┼───────────────────────┼───────────────────────┤
│ 원인         │ 데이터 부족, 모델 모수│ 관측 기기 오차,       │
│              │ 에 대한 무지          │ 데이터 자체의 고유 잡음│
├──────────────┼───────────────────────┼───────────────────────┤
│ 데이터 N 증가│ N → ∞ 이면 S_N → 0    │ 불변 (줄어들지 않음)  │
│ 시 변화      │ (0으로 사라짐)        │                       │
├──────────────┼───────────────────────┼───────────────────────┤
│ 공간적 특성  │ 데이터가 많은 곳: 작음│ 모든 입력 영역에서    │
│              │ 외삽(데이터 없는 곳): 큼│ 일정함                │
└──────────────┴───────────────────────┴───────────────────────┘

MAP와의 놀라운 연결: 사전분포를 $m_0 = 0, S_0 = b^2 I$로 두면, 사후 예측 평균 $\phi(x_*)^\top m_N$은 앞서 유도한 MAP 추정량의 예측값 $\phi(x_*)^\top \theta_{MAP}$과 수학적으로 완전히 일치합니다! 즉, MAP는 베이즈 선형 회귀에서 사후 예측 분포의 ‘중심(평균)‘만 똑 떼어내어 점 추정한 것입니다.

9.3.5 주변 가능도 계산 및 모델 선택 (Computing the Marginal Likelihood, 312쪽)

왜 필요한가 (오컴의 면도날)

다항 회귀에서 차수 $M$을 몇 차로 정해야 할까요? MLE는 차수가 높을수록 무조건 훈련 데이터 오차가 0이 되므로 항상 가장 복잡한 모델을 선택하는 치명적인 결함이 있습니다. 베이즈 추론에서는 모수를 적분 소거한 주변 가능도(Marginal Likelihood / Model Evidence) $p(Y \mid X)$를 계산함으로써, 별도의 검증 데이터(Validation Set)나 교차 검증(Cross Validation) 없이도 훈련 데이터만으로 모델의 복잡도를 자동으로 통제할 수 있습니다.

정의와 계산

선형 가우시안 시스템의 성질 $Y = \Phi \theta + \epsilon$, $\theta \sim \mathcal{N}(m_0, S_0)$, $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$을 적용하면:

로그 주변 가능도를 전개하면 3개의 직관적인 항으로 분해됩니다:

1. 데이터 적합도 (Data Fit): 첫 번째 2차 형식 항. 모델이 데이터를 잘 설명할수록 값이 커집니다.
2. 복잡도 페널티 (Complexity Penalty / Occam’s Factor): 두 번째 행렬식 로그 항. 모델이 복잡해질수록(특징 차원이 많아질수록) $\Phi S_0 \Phi^\top$이 확장되어 행렬식이 커지고, 마이너스 부호 때문에 주변 가능도를 크게 깎아내립니다.
3. 정규화 상수: 데이터 차원 $N$에 비례하는 상수.

이 두 힘(적합도 vs 페널티) 사이의 팽팽한 균형을 통해 주변 가능도는 “데이터를 적절히 설명할 수 있는 가장 단순한 모델”에서 정점(최댓값)을 찍게 됩니다. 이것이 통계학에서 말하는 오컴의 면도날(Occam’s Razor)의 수학적 구현입니다.

손으로 풀어 보는 예제

앞선 예제 ($\Phi = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix}, y = \begin{bmatrix} 1 \\ 3 \\ 4 \end{bmatrix}$)에서, 사전분포 $m_0 = \begin{bmatrix} 0 \\ 0 \end{bmatrix}, S_0 = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} = I$, 노이즈 $\sigma^2 = 1$일 때: