MML 6장 확률과 분포: 베이즈 정리, 가우시안, 지수족

교재 쪽수: 172~224쪽
이 장이 뒤쪽 장에서 어디에 다시 쓰이는가: 8장 모델과 데이터(최대우도추정 MLE, 최대사후확률추정 MAP, 경험적 위험 최소화 ERM의 확률론적 해석), 9장 선형 회귀(베이지안 선형 회귀의 가우시안 우도, 가우시안 사전분포, 가우시안 사후분포 도출 및 한계 우도 증거 Marginal Likelihood 계산), 10장 차원 축소(확률적 PCA/PPCA의 정규분포 잠재변수 모델링), 11장 밀도 추정/GMM(가우시안 혼합 모델, 잠재변수의 책임도 responsibility $r_{nk}$ 사후확률 계산, EM 알고리즘의 E-단계 및 M-단계 모수 갱신, 디리클레-다항 켤레 사전분포), 12장 분류(SVM과 대비되는 로지스틱 회귀 및 확률적 판별 모델). 머신러닝에서 데이터의 노이즈와 모델의 불확실성(Uncertainty)을 정량화하고 데이터로부터 새로운 지식을 학습하는 모든 수학적 기반이 이 장에 압축되어 있다.

0. 이 장 지도

확률론은 머신러닝에서 불확실성을 표현하고 추론하는 핵심 언어다. 단순한 동전 던지기 같은 고전적 확률에서 시작하여, 엄밀한 확률 공간($\sigma$-대수), 이산/연속 확률변수, 머신러닝의 3대 추론 원칙(합의 법칙, 곱의 법칙, 베이즈 정리), 요약 통계량(평균, 공분산, 선형변환), 그리고 머신러닝의 가장 중요한 두 기둥인 가우시안 분포(Gaussian Distribution)와 켤레 사전분포 및 지수족(Conjugacy & Exponential Family)으로 체계적으로 발전한다.

flowchart TD
    S61["6.1 확률 공간의 구성<br/>(표본공간, σ-대수, 확률측도)"] --> S62["6.2 이산 및 연속 확률<br/>(PMF, PDF, CDF)"]
    S62 --> S63["6.3 합의 법칙, 곱의 법칙, 베이즈 정리<br/>(머신러닝 확률 추론의 기본 3원칙)"]
    S63 --> S64["6.4 요약 통계량과 독립성<br/>(기댓값, 공분산, 선형변환, 내적)"]
    S64 --> S65["6.5 가우시안 분포 ★★★<br/>(주변/조건부분포, 곱, 선형변환)"]
    S63 --> S66["6.6 켤레성과 지수족 ★★★<br/>(켤레사전분포, 충분통계량, 로그분할함수)"]
    S65 --> S67["6.7 변수 변환과 역변환<br/>(야코비안 행렬식, 확률적분변환)"]
    S65 --> Ch9["9장 베이지안 선형회귀<br/>(가우시안 사전/사후/우도)"]
    S65 --> Ch11["11장 GMM / EM 알고리즘<br/>(가우시안 혼합, 책임도 r_nk)"]
    S66 --> Ch11

절 목록 및 핵심 요약과 중요도

6.1 확률 공간의 구성(Construction of a Probability Space, 교재 172~177쪽)

왜 필요한가 (직관)

우리가 “오늘 비가 올 확률이 $70\%$다"라고 말할 때, 이 불확실성을 어떻게 수학적으로 엄밀하게 정의할 수 있을까? 직관에만 의존하면 “무한히 많은 경우의 수"를 다룰 때 수학적 모순(예: 바나흐-타르스키 역설이나 비가측 집합 문제)에 부딪힌다. 따라서 수학자들은 어떤 시행에서 나올 수 있는 모든 결과의 무대(표본공간), 확률을 부여할 수 있는 합법적인 사건들의 모임(사건공간/$\sigma$-대수), 그리고 각 사건에 $0$과 $1$ 사이의 숫자를 배정하는 엄격한 규칙(확률측도)이라는 삼위일체의 틀을 만들었다. 이것이 바로 확률 공간(Probability Space)이다.

정의와 성질

1. 확률 공간의 세 가지 구성 요소 $(\Omega, \mathcal{A}, P)$

1. 표본공간(Sample Space, $\Omega$): 어떤 무작위 실험에서 발생할 수 있는 모든 가능한 결과(outcomes)의 집합.
   • 예: 주사위 1회 던지기 $\implies \Omega = \{1, 2, 3, 4, 5, 6\}$.
2. 사건공간(Event Space, $\mathcal{A}$): 우리가 확률을 부여할 수 있는 사건(event)들의 집합족으로, 수학적으로 $\sigma$-대수($\sigma$-algebra)를 형성한다.
   • $\sigma$-대수의 조건:
     1. 전체집합이 포함된다: $\Omega \in \mathcal{A}$
     2. 여집합에 닫혀 있다: $A \in \mathcal{A} \implies A^c \in \mathcal{A}$
     3. 가산 무한 합집합에 닫혀 있다: $A_1, A_2, \dots \in \mathcal{A} \implies \bigcup_{i=1}^\infty A_i \in \mathcal{A}$
3. 확률측도(Probability Measure, $P$): 사건 $A \in \mathcal{A}$에 실수값을 배정하는 함수 $P: \mathcal{A} \to [0, 1]$로, 콜모고로프의 3대 공리(Kolmogorov’s Axioms)를 만족한다:
   1. 비음수성(Non-negativity): 모든 $A \in \mathcal{A}$에 대해 $P(A) \ge 0$.
   2. 정규화(Normalization): 전체사건의 확률은 1이다: $P(\Omega) = 1$.
   3. 가산가법성(Countable Additivity): 서로소(disjoint, $A_i \cap A_j = \emptyset$)인 사건열에 대해, $P\left(\bigcup_{i=1}^\infty A_i\right) = \sum_{i=1}^\infty P(A_i)$

2. 확률변수(Random Variable)의 진정한 정의

머신러닝 입문자가 가장 많이 오해하는 개념 중 하나가 ‘확률변수’다.

• 확률변수(Random Variable)는 ‘변수’가 아니라 표본공간의 원소를 실수 공간으로 매핑하는 ‘함수(Function)‘다! $X: \Omega \to \mathbb{R}$
• 예: 동전을 두 번 던질 때 표본공간의 결과 $\omega = (\text{앞면}, \text{뒷면})$에 대해 “앞면이 나온 횟수"를 $X(\omega) = 1$로 실수값을 대응시키는 규칙 자체가 확률변수다.

3. 6.1.1 철학적 쟁점: 빈도주의 vs 베이지안

• 빈도주의(Frequentist Interpretation): 확률을 “동일한 실험을 무한히 반복했을 때 특정 사건이 발생하는 상대적 빈도(relative frequency)”로 정의한다. 모수(parameter) $\theta$는 고정된 미지의 상수이며, 데이터가 무작위로 관측된다고 본다 (MLE 추정).
• 베이지안(Bayesian Interpretation): 확률을 “불확실성에 대한 주관적 또는 합리적인 믿음의 정도(degree of belief)”로 정의한다. 데이터는 이미 관측된 고정된 사실이며, 모수 $\theta$ 자체가 불확실성을 가진 확률변수로 취급된다 (Prior, Posterior, MAP 추정).

손으로 풀어 보는 예제

[예제 1-1] 동전 2회 던지기 확률 공간 구성

공정한 동전을 2회 던지는 실험에 대해 확률 공간 $(\Omega, \mathcal{A}, P)$와 확률변수 $X$를 정의하라.

• 1단계 (표본공간): 앞면을 $H$, 뒷면을 $T$라 하면, $\Omega = \{ (H, H), (H, T), (T, H), (T, T) \}$ 원소의 개수는 $|\Omega| = 4$이다.
• 2단계 (사건공간 $\sigma$-대수): $\Omega$가 유한집합이므로 멱집합(Power set) $\mathcal{P}(\Omega)$ 전체를 사건공간으로 둘 수 있다: $|\mathcal{A}| = 2^4 = 16$개의 사건. 공사건 $\emptyset$, 단일사건들, 전체사건 $\Omega$ 등이 모두 포함된다.
• 3단계 (확률측도): 공정한 동전이므로 각 근원사건의 확률은 $P(\{(H, H)\}) = P(\{(H, T)\}) = P(\{(T, H)\}) = P(\{(T, T)\}) = \frac{1}{4}$. 임의의 사건 $A$의 확률은 $P(A) = \frac{|A|}{4}$.
• 4단계 (확률변수 $X$: 앞면의 개수):
  • $X((H, H)) = 2 \implies P(X = 2) = P(\{(H, H)\}) = \frac{1}{4}$
  • $X((H, T)) = 1, X((T, H)) = 1 \implies P(X = 1) = P(\{(H, T), (T, H)\}) = \frac{2}{4} = \frac{1}{2}$
  • $X((T, T)) = 0 \implies P(X = 0) = P(\{(T, T)\}) = \frac{1}{4}$ 확률의 총합: $\frac{1}{4} + \frac{1}{2} + \frac{1}{4} = 1$.

헷갈리는 점 / 자주 하는 실수

• 확률변수를 수치로 착각하는 실수: $X$는 함수이고, 소문자 $x$가 그 함수가 취하는 구체적인 실숫값(실현값, realization)이다. 표기법 $P(X = x)$는 엄밀히 $P(\{ \omega \in \Omega \mid X(\omega) = x \})$를 줄여 쓴 것이다.

6.2 이산 확률과 연속 확률(Discrete and Continuous Probabilities, 교재 178~183쪽)

왜 필요한가 (직관)

컴퓨터가 다루는 데이터는 두 종류다. 이미지 분류 라벨(고양이, 개, 자동차)이나 자연어 토큰 번호는 셀 수 있는 이산형(discrete) 데이터이고, 센서 전압, 온도, 오디오 파형, 신경망 가중치는 연속적인 실수형(continuous) 데이터다. 이산형에서는 “어떤 특정 값이 나올 확률"을 직접 더할 수 있지만, 연속형에서는 임의의 특정 실수 하나가 정확히 나올 확률은 $0$이다(바늘 끝으로 수직선 위의 한 점을 정확히 찌를 확률). 따라서 연속형에서는 특정 점 대신 구간의 면적(적분)을 통해 확률을 구해야 하며, 이를 위해 확률밀도함수(PDF)라는 개념이 등장한다.

정의와 성질

1. 6.2.1 이산 확률 (Discrete Probabilities)

확률변수 $X$가 취할 수 있는 값의 집합이 유한하거나 가산 무한(countable)일 때:

• 확률질량함수(Probability Mass Function, PMF): $P(X = x) = p(x), \quad 0 \le p(x) \le 1, \quad \sum_{x} p(x) = 1$
• 임의의 부분집합 $S$에 대한 확률: $P(X \in S) = \sum_{x \in S} p(x)$.

2. 6.2.2 연속 확률 (Continuous Probabilities)

확률변수 $X$가 연속적인 실숫값을 가질 때:

• 확률밀도함수(Probability Density Function, PDF) $f(x)$:
  1. 비음수성: 모든 $x$에 대해 $f(x) \ge 0$.
  2. 전체 적분은 1: $\int_{-\infty}^{\infty} f(x) dx = 1$.
• 구간 확률: 구간 $[a, b]$에 속할 확률은 곡선 아래 면적이다: $P(a \le X \le b) = \int_a^b f(x) dx$
• 중요 성질: 임의의 단일 점 $c$에 대해 $P(X = c) = \int_c^c f(x) dx = 0$이다!
• 밀도의 성질: $f(x)$는 확률 자체가 아니라 ‘단위 길이당 확률(밀도)‘이므로, $f(x) > 1$일 수 있다 (예: 균등분포 $\text{Uniform}(0, 0.5)$에서 $f(x) = 2$).

3. 누적분포함수(Cumulative Distribution Function, CDF)

이산과 연속 모두에서 통용되는 통합 도구로, $X$가 어떤 기준값 $x$ 이하일 누적 확률이다:

• 성질:
  1. 단조증가(Monotonically non-decreasing): $x_1 \le x_2 \implies F(x_1) \le F(x_2)$
  2. 극한: $\lim_{x \to -\infty} F(x) = 0, \quad \lim_{x \to \infty} F(x) = 1$
  3. 미적분학의 기본정리에 의해, 연속 확률변수의 경우 PDF는 CDF의 도함수다: $f(x) = \frac{d}{dx} F_X(x)$

손으로 풀어 보는 예제

[예제 2-1] 지수분포의 PDF, CDF, 구간 확률 계산

어떤 전자 부품의 수명 $X$가 모수 $\lambda = 2$인 지수분포(Exponential distribution)를 따른다고 하자:

1. 전체 적분이 1임을 확인하라.
2. 누적분포함수 $F(x)$를 구하라.
3. 부품 수명이 1시간에서 2시간 사이일 확률 $P(1 \le X \le 2)$를 계산하라.

• 1단계 (전체 적분 확인): $\int_0^\infty 2e^{-2x} dx = \left[ -e^{-2x} \right]_0^\infty = \lim_{b \to \infty} (-e^{-2b}) - (-e^0) = 0 - (-1) = 1$
• 2단계 (CDF $F(x)$ 도출): $x \ge 0$에 대하여: $F(x) = \int_0^x 2e^{-2t} dt = \left[ -e^{-2t} \right]_0^x = -e^{-2x} - (-e^0) = 1 - e^{-2x}$
• 3단계 (구간 확률 계산): $P(1 \le X \le 2) = F(2) - F(1) = (1 - e^{-4}) - (1 - e^{-2}) = e^{-2} - e^{-4}$
  • $e^{-2} \approx 0.1353$, $e^{-4} \approx 0.0183$
  • $P(1 \le X \le 2) \approx 0.1353 - 0.0183 = 0.1170$ ($11.7\%$)

헷갈리는 점 / 자주 하는 실수

• PDF 함숫값을 확률로 착각하는 실수: $f(x_0) = 5$라고 해서 $x_0$가 나올 확률이 5인 것이 아니다. 확률은 반드시 미소 구간 $dx$를 곱한 면적 $f(x_0)dx$로만 정의된다.

6.3 합의 법칙, 곱의 법칙, 베이즈 정리(Sum Rule, Product Rule, and Bayes’ Theorem, 교재 183~186쪽)

왜 필요한가 (직관)

머신러닝은 기본적으로 “이미 관측한 데이터 $y$를 바탕으로, 보이지 않는 진짜 정답이나 매개변수 $x$를 역추적하는 학문”이다.

• 원인($x$)에서 결과($y$)가 나오는 과정은 우리가 물리 법칙이나 모델로 기술할 수 있다 $\implies$ 우도(Likelihood, $p(y \mid x)$).
• 하지만 우리가 알고 싶은 것은 반대로 “결과($y$)가 주어졌을 때 원인($x$)이 무엇이었을까?“이다 $\implies$ 사후확률(Posterior, $p(x \mid y)$). 이 인과관계의 방향을 수학적으로 뒤집어 주는 역추론의 절대 법칙이 바로 베이즈 정리(Bayes’ Theorem)이며, 이를 지탱하는 두 기둥이 합의 법칙(Sum Rule)과 곱의 법칙(Product Rule)이다.

정의와 성질

1. 합의 법칙 (Sum Rule / Marginalization)

결합확률분포 $p(x, y)$에서 관심 없는 변수 $y$를 모두 더하거나 적분하여 제거(주변화, marginalize out)하고, 관심 있는 변수 $x$만의 주변확률분포(Marginal Distribution)를 얻는 규칙:

2. 곱의 법칙 (Product Rule)

두 변수가 동시에 발생할 결합확률은 조건부 확률과 조건 변수의 확률의 곱으로 분해된다:

3. 베이즈 정리 (Bayes’ Theorem)

곱의 법칙의 양변을 정리하고 분모에 합의 법칙을 적용하여 조건부 확률의 방향을 뒤집는 공식:

flowchart LR
    Prior["사전확률 p(x)<br>(데이터 관측 전 믿음)"] --> Mult["x 우도 p(y|x)<br>(데이터가 모수를 지지하는 정도)"]
    Mult --> Numerator["분자: p(y|x) p(x)"]
    Evidence["분모: 증거 p(y)<br>(모든 x에 대해 적분한 정규화 상수)"] --> Div["나눗셈"]
    Numerator --> Div
    Div --> Posterior["사후확률 p(x|y)<br>(데이터 관측 후 갱신된 믿음)"]

• 사전확률(Prior) $p(x)$: 데이터를 보기 전, 매개변수나 상태 $x$에 대해 우리가 알고 있던 지식.
• 우도(Likelihood) $p(y \mid x)$: $x$라는 조건이 참일 때, 관측 데이터 $y$가 나타날 확률(밀도).
• 증거 / 한계 우도(Evidence / Marginal Likelihood) $p(y)$: 가능한 모든 $x'$에 대해 우도와 사전확률의 가중 평균 적분. 사후확률의 총합을 1로 만들어 주는 정규화 상수(normalization constant).
• 사후확률(Posterior) $p(x \mid y)$: 관측 데이터 $y$를 본 후 갱신된 $x$의 최종 확률.
• 비례 관계: 사후확률 $\propto$ 우도 $\times$ 사전확률 (Posterior $\propto$ Likelihood $\times$ Prior).

손으로 풀어 보는 예제

[예제 3-1] 희귀 질병 진단과 기저율의 오류(Base Rate Fallacy)

• 전체 인구 중 어떤 희귀 질병 $D$에 걸릴 확률(유병률)은 $1\%$이다: $P(D) = 0.01, P(D^c) = 0.99$.

• 진단 키트의 성능:

  • 실제 질병 환자를 양성($+$)으로 판정할 확률(민감도): $P(+ \mid D) = 0.95$.
  • 정상인을 양성으로 오진할 확률(위양성률): $P(+ \mid D^c) = 0.05$.

• 어떤 사람이 검사에서 양성($+$) 판정을 받았다. 이 사람이 실제로 질병에 걸렸을 확률 $P(D \mid +)$를 계산하라.

• 1단계 (전체 양성 판정 확률, 증거 $P(+)$ 계산 - 합의 법칙):

  $$\begin{aligned} P(+) &= P(+ \mid D)P(D) \\ &\quad + P(+ \mid D^c)P(D^c) \end{aligned}$$
  $$\begin{aligned} P(+) &= (0.95)(0.01) + (0.05)(0.99) \\ &= 0.0095 + 0.0495 = 0.0590 \end{aligned}$$

• 2단계 (베이즈 정리 적용):

  $$\begin{aligned} P(D \mid +) &= \frac{P(+ \mid D)P(D)}{P(+)} \\ &= \frac{0.0095}{0.0590} \\ &= \frac{95}{590} \\ &= \frac{19}{118} \\ &\approx 0.1610 \end{aligned}$$

• 해석: 검사 정확도가 $95\%$나 되는데도, 양성 판정을 받은 사람이 실제 환자일 확률은 고작 $16.1\%$에 불과하다! 이유는 질병의 사전확률(기저율, $1\%$)이 너무 낮기 때문에 정상인의 $5\%$ 오진($0.0495$)이 실제 환자의 양성($0.0095$)보다 압도적으로 많기 때문이다. 베이즈 추론에서 사전확률(Prior)의 영향력이 얼마나 막강한지 보여주는 교과서적 예시다.

[예제 3-2] 이산 결합분포표에서의 주변화와 조건부 확률 (교재 예제 6.1 변형)

두 이산 확률변수 $X \in \{x_1, x_2, x_3\}$, $Y \in \{y_1, y_2\}$의 결합확률표가 다음과 같다고 하자:

1. 주변분포 $p(x)$와 $p(y)$를 구하라.
2. $Y = y_1$이 관측되었을 때 $X$의 조건부 확률분포 $p(x \mid Y = y_1)$을 구하라.
3. $X = x_2$가 관측되었을 때 $Y$의 조건부 확률분포 $p(y \mid X = x_2)$를 구하라.

• 1단계 (주변분포):
  • 가로 행의 합: $p(y_1) = 0.1 + 0.2 + 0.1 = 0.4$, $p(y_2) = 0.3 + 0.1 + 0.2 = 0.6$.
  • 세로 열의 합: $p(x_1) = 0.1 + 0.3 = 0.4$, $p(x_2) = 0.2 + 0.1 = 0.3$, $p(x_3) = 0.1 + 0.2 = 0.3$.
• 2단계 ($p(x \mid y_1)$ 계산): $p(x_i \mid y_1) = \frac{p(x_i, y_1)}{p(y_1)} = \frac{p(x_i, y_1)}{0.4}$.
  • $p(x_1 \mid y_1) = \frac{0.1}{0.4} = 0.25$
  • $p(x_2 \mid y_1) = \frac{0.2}{0.4} = 0.50$
  • $p(x_3 \mid y_1) = \frac{0.1}{0.4} = 0.25$ 합: $0.25 + 0.50 + 0.25 = 1.0$.
• 3단계 ($p(y \mid x_2)$ 계산): $p(y_j \mid x_2) = \frac{p(x_2, y_j)}{p(x_2)} = \frac{p(x_2, y_j)}{0.3}$.
  • $p(y_1 \mid x_2) = \frac{0.2}{0.3} = \frac{2}{3} \approx 0.667$
  • $p(y_2 \mid x_2) = \frac{0.1}{0.3} = \frac{1}{3} \approx 0.333$

헷갈리는 점 / 자주 하는 실수

• 우도 $p(y \mid x)$와 사후확률 $p(x \mid y)$의 혼동: 우도는 ‘매개변수 $x$가 주어졌을 때 데이터 $y$가 나올 확률’이고, 사후확률은 ‘데이터 $y$가 주어졌을 때 매개변수 $x$의 확률’이다. 두 조건의 전후를 뒤바꾸면 완전히 엉뚱한 결론이 나온다.

6.4 요약 통계량과 독립성(Summary Statistics and Independence, 교재 186~196쪽)

왜 필요한가 (직관)

복잡한 다차원 확률분포 함수 전체를 들고 다니는 것은 연산량이 너무 크다. 분포의 ‘무게중심(평균)‘이 어디에 있고, 그 중심으로부터 데이터들이 ‘어느 방향으로 얼마나 넓게 퍼져 있는지(분산 및 공분산)‘만 알아도 머신러닝 모델의 대부분을 설계할 수 있다. 나아가 두 변수가 서로에게 아무런 영향을 주지 않는지(독립성)를 판단하는 것은 모델의 복잡도를 낮추는 가장 강력한 도구다.

정의와 성질

1. 6.4.1 평균과 공분산

1. 기댓값(Expected Value / Mean): $\mathbb{E}[X] = \begin{cases} \sum_x x p(x) & (\text{이산}) \\ \int x f(x) dx & (\text{연속}) \end{cases}$
   • 선형성(Linearity): $\mathbb{E}[aX + bY + c] = a\mathbb{E}[X] + b\mathbb{E}[Y] + c$ (변수들이 독립이 아니어도 항상 성립!).
2. 분산(Variance): 평균으로부터의 편차(deviation) 제곱의 기댓값: $\mathbb{V}[X] = \mathbb{E}[(X - \mathbb{E}[X])^2] = \mathbb{E}[X^2] - (\mathbb{E}[X])^2$
   • 성질: $\mathbb{V}[aX + b] = a^2 \mathbb{V}[X]$.
3. 공분산 행렬(Covariance Matrix): 다변량 확률변수 벡터 $\boldsymbol{x} \in \mathbb{R}^D$에 대하여: $\Sigma = \mathbb{V}[\boldsymbol{x}] = \text{Cov}[\boldsymbol{x}, \boldsymbol{x}] = \mathbb{E}[(\boldsymbol{x} - \boldsymbol{\mu})(\boldsymbol{x} - \boldsymbol{\mu})^\top] \in \mathbb{R}^{D \times D}$
   • 대각 원소 $\Sigma_{ii} = \mathbb{V}[x_i]$: 각 변수 $x_i$의 분산.
   • 비대각 원소 $\Sigma_{ij} = \text{Cov}[x_i, x_j]$: 두 변수 $x_i, x_j$ 사이의 공분산.
   • 핵심 성질: 공분산 행렬은 항상 대칭(Symmetric, $\Sigma = \Sigma^\top$)이며 양의 준정부호(Positive Semi-Definite, PSD, $\boldsymbol{z}^\top \Sigma \boldsymbol{z} \ge 0$)이다!

2. 6.4.2 표본 평균과 표본 공분산 (교재 관례 명시)

$N$개의 데이터 샘플 $\{\boldsymbol{x}_1, \dots, \boldsymbol{x}_N\}$이 주어졌을 때:

• 표본 평균: $\hat{\boldsymbol{\mu}} = \frac{1}{N} \sum_{n=1}^N \boldsymbol{x}_n$
• 표본 공분산: $\hat{\Sigma} = \frac{1}{N} \sum_{n=1}^N (\boldsymbol{x}_n - \hat{\boldsymbol{\mu}})(\boldsymbol{x}_n - \hat{\boldsymbol{\mu}})^\top$

[교재 관례 알림: 분모 $\frac{1}{N}$ vs $\frac{1}{N-1}$] MML 교재는 머신러닝의 최대우도추정(MLE) 관례에 따라 표본 분산과 공분산의 분모로 $\frac{1}{N}$을 기본 표기로 사용한다. 반면 통계학에서는 모분산의 비편향 추정량(unbiased estimator)을 만들기 위해 자유도를 1 뺀 $\frac{1}{N-1}$을 사용한다. 본 해설서와 교재 풀이에서는 교재의 정의인 $\frac{1}{N}$을 기본으로 따르며, 필요 시 비편향 추정량과의 차이를 함께 명시한다.

3. 6.4.3 분산의 세 가지 표현식 (교재 식 (6.43), (6.44), (6.45))

데이터셋 $\{x_1, \dots, x_N\}$에 대한 표본 분산은 다음 세 가지 형태로 완전히 동일하게 표현된다:

1. 표준 편차 제곱 정의 (Standard Definition): $\mathbb{V}[X] = \frac{1}{N} \sum_{n=1}^N (x_n - \mu)^2 \quad (6.43)$
2. 원점 모멘트 표현식 (Raw-score Expression): $\mathbb{V}[X] = \frac{1}{N} \sum_{n=1}^N x_n^2 - \mu^2 \quad (6.44)$
3. 쌍별 차이 표현식 (Pairwise Difference Expression): $\mathbb{V}[X] = \frac{1}{2N^2} \sum_{i=1}^N \sum_{j=1}^N (x_i - x_j)^2 \quad (6.45)$ (이 공식의 직관: 평균 $\mu$를 미리 계산할 필요 없이, 모든 데이터 쌍 사이의 거리 제곱 평균으로 분산을 직접 구할 수 있다! 뒤쪽 교재 연습문제 6.6과 6.7의 증명 대상이다.)

   교재의 (6.43)·(6.44)는 기댓값으로 쓴 정의 $\mathbb{V}_X[x] = \mathbb{E}_X[(x-\mu)^2] = \mathbb{E}_X[x^2] - (\mathbb{E}_X[x])^2$이고, 위 식들은 데이터셋에 적용한 경험적 형태다. 교재 (6.45)는 $\frac{1}{N^2}\sum_{i,j}(x_i - x_j)^2 = 2\left[\frac{1}{N}\sum_i x_i^2 - \left(\frac{1}{N}\sum_i x_i\right)^2\right]$, 즉 “쌍별 차이 제곱의 평균은 원점 모멘트 표현의 두 배"라는 형태로 적혀 있다.

4. 6.4.4 확률변수의 선형/아핀 변환

확률변수 벡터 $\boldsymbol{x} \sim (\boldsymbol{\mu}, \Sigma)$에 행렬 $A$와 편향 $\boldsymbol{b}$를 곱해 변환한 $\boldsymbol{y} = A\boldsymbol{x} + \boldsymbol{b}$에 대하여:

이 두 공식은 6.5절 가우시안의 선형변환과 10장 PCA에서 핵심적으로 사용된다.

5. 6.4.5 통계적 독립성 (Statistical Independence)

• 정의: 두 확률변수 $X, Y$가 독립($X \perp Y$)이라는 것은 결합분포가 각각의 주변분포의 곱으로 분해됨을 의미한다: $p(x, y) = p(x) p(y)$
• 독립과 무상관의 관계:
  • $X \perp Y \implies \text{Cov}[X, Y] = 0$ (독립이면 반드시 무상관이다).
  • 그러나 역은 일반적으로 성립하지 않는다 (무상관이라고 해서 독립인 것은 아니다!).
  • 대표적인 예외: 두 변수가 결합 가우시안(Joint Gaussian)을 따를 때는 무상관과 독립이 동치(if and only if)이다.

6. 6.4.6 확률변수의 내적 (교재 195~197쪽)

• 무상관인 두 확률변수는 $\mathbb{V}[x+y] = \mathbb{V}[x] + \mathbb{V}[y]$이다(식 (6.58)). 분산은 제곱 단위라서 직각삼각형의 피타고라스 정리 $c^2 = a^2 + b^2$와 모양이 같다.
• 평균이 0인 확률변수에 대해 내적을 $\langle X, Y \rangle := \text{Cov}[x, y]$로 정의하면(식 (6.59)), 길이는 $\|X\| = \sqrt{\mathbb{V}[x]} = \sigma[x]$, 즉 표준편차다(식 (6.60)). 길이가 길수록 불확실하고, 길이 0이면 결정적인 값이다.
• 두 확률변수 사이 각의 코사인은 $\cos\theta = \frac{\text{Cov}[x,y]}{\sqrt{\mathbb{V}[x]\mathbb{V}[y]}}$로 상관계수다(식 (6.61)). 따라서 무상관 = 직교이고, 그때 분산의 합 공식이 피타고라스 정리가 된다(그림 6.6).
• 교재 비고: 이 내적에서 나온 유클리드 거리는 확률분포끼리 비교하는 데 좋은 거리가 아니다. 분포는 양수이고 합이 1이라는 제약 때문에 통계적 다양체 위에 있으며, 분포 사이 거리는 보통 KL 발산 등으로 잰다(정보 기하학, Amari 2016).

손으로 풀어 보는 예제

[예제 4-1] 분산의 세 가지 표현식 수치 검증

데이터셋 $\{1, 3, 5\}$ ($N = 3$)에 대하여 분산의 세 가지 공식이 동일한 결과를 내는지 검증하라.

• 1단계 (평균 계산): $\mu = \frac{1 + 3 + 5}{3} = \frac{9}{3} = 3$.
• 2단계 (공식 1: 편차 제곱의 평균): $\mathbb{V}[X] = \frac{(1-3)^2 + (3-3)^2 + (5-3)^2}{3} = \frac{(-2)^2 + 0^2 + 2^2}{3} = \frac{4 + 0 + 4}{3} = \frac{8}{3} \approx 2.667$
• 3단계 (공식 2: 원점 모멘트): $\frac{1}{N} \sum x_n^2 = \frac{1^2 + 3^2 + 5^2}{3} = \frac{1 + 9 + 25}{3} = \frac{35}{3}$ $\mathbb{V}[X] = \frac{35}{3} - 3^2 = \frac{35}{3} - \frac{27}{3} = \frac{8}{3}$
• 4단계 (공식 3: 쌍별 차이): 모든 $(x_i - x_j)^2$ 9개 항을 계산:
  • $(1-1)^2 = 0, (1-3)^2 = 4, (1-5)^2 = 16$
  • $(3-1)^2 = 4, (3-3)^2 = 0, (3-5)^2 = 4$
  • $(5-1)^2 = 16, (5-3)^2 = 4, (5-5)^2 = 0$ 합: $0 + 4 + 16 + 4 + 0 + 4 + 16 + 4 + 0 = 48$. $\mathbb{V}[X] = \frac{1}{2N^2} \sum_{i,j} (x_i - x_j)^2 = \frac{1}{2 \times 3^2} \times 48 = \frac{48}{18} = \frac{8}{3}$ 세 공식 모두 $\frac{8}{3}$로 정확히 일치한다!

[예제 4-2] 2차원 아핀 변환의 평균과 공분산 계산

$\boldsymbol{\mu} = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$, $\Sigma = \begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix}$인 확률변수 $\boldsymbol{x}$에 대하여, $\boldsymbol{y} = A\boldsymbol{x} + \boldsymbol{b}$ (단, $A = \begin{bmatrix} 1 & -1 \\ 2 & 0 \end{bmatrix}$, $\boldsymbol{b} = \begin{bmatrix} 3 \\ -1 \end{bmatrix}$)의 평균 $\boldsymbol{\mu}_{\boldsymbol{y}}$와 공분산 $\Sigma_{\boldsymbol{y}}$를 구하라.

• 1단계 (평균 $\boldsymbol{\mu}_{\boldsymbol{y}}$):

  $$\begin{aligned} \boldsymbol{\mu}_{\boldsymbol{y}} &= A\boldsymbol{\mu} + \boldsymbol{b} \\ &= \begin{bmatrix} 1 & -1 \\ 2 & 0 \end{bmatrix} \begin{bmatrix} 1 \\ 2 \end{bmatrix} + \begin{bmatrix} 3 \\ -1 \end{bmatrix} \\ &= \begin{bmatrix} 1(1) - 1(2) \\ 2(1) + 0(2) \end{bmatrix} + \begin{bmatrix} 3 \\ -1 \end{bmatrix} \\ &= \begin{bmatrix} -1 \\ 2 \end{bmatrix} + \begin{bmatrix} 3 \\ -1 \end{bmatrix} \\ &= \begin{bmatrix} 2 \\ 1 \end{bmatrix} \end{aligned}$$

• 2단계 (공분산 $\Sigma_{\boldsymbol{y}} = A \Sigma A^\top$): 먼저 $A \Sigma$ 계산:

  $$\begin{aligned} A \Sigma &= \begin{bmatrix} 1 & -1 \\ 2 & 0 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ 1 & 3 \end{bmatrix} \\ &= \begin{bmatrix} 1(2) - 1(1) & 1(1) - 1(3) \\ 2(2) + 0(1) & 2(1) + 0(3) \end{bmatrix} \\ &= \begin{bmatrix} 1 & -2 \\ 4 & 2 \end{bmatrix} \end{aligned}$$

  다음으로 $(A \Sigma) A^\top$ 계산 ($A^\top = \begin{bmatrix} 1 & 2 \\ -1 & 0 \end{bmatrix}$):

  $$\begin{aligned} \Sigma_{\boldsymbol{y}} &= \begin{bmatrix} 1 & -2 \\ 4 & 2 \end{bmatrix} \begin{bmatrix} 1 & 2 \\ -1 & 0 \end{bmatrix} \\ &= \begin{bmatrix} 1(1) + (-2)(-1) & 1(2) + (-2)(0) \\ 4(1) + 2(-1) & 4(2) + 2(0) \end{bmatrix} \\ &= \begin{bmatrix} 3 & 2 \\ 2 & 8 \end{bmatrix} \end{aligned}$$

  결과 $\Sigma_{\boldsymbol{y}} = \begin{bmatrix} 3 & 2 \\ 2 & 8 \end{bmatrix}$는 대칭행렬이며 양의 정부호($\det = 24 - 4 = 20 > 0$)이다!

헷갈리는 점 / 자주 하는 실수

• 무상관을 독립으로 단정하는 실수: $X \sim \text{Uniform}(-1, 1)$이고 $Y = X^2$이면 $\text{Cov}[X, Y] = \mathbb{E}[X^3] - \mathbb{E}[X]\mathbb{E}[X^2] = 0 - 0 = 0$으로 무상관이지만, $Y$는 $X$에 의해 완전히 결정되므로 명백히 종속이다.

6.5 가우시안 분포(Gaussian Distribution, 교재 197~204쪽) — 핵심 중점

왜 필요한가 (직관)

머신러닝과 통계학에서 가우시안(정규분포)이 널리 쓰이는 이유는 두 가지다.

1. 중심극한정리(CLT): 서로 독립인 무수한 미세 오차들이 합쳐지면 그 합은 원래 분포가 무엇이든 가우시안으로 수렴한다. 현실 세계의 거의 모든 잡음(noise)이 가우시안을 띠는 이유다.
2. 해석적 다루기 쉬움(Analytical Tractability): 가우시안 분포는 미적분과 선형대수 연산에 대해 ‘정확히 닫혀(closed)’ 있다. 가우시안의 일부를 잘라내도(주변분포), 어떤 값을 관측하여 조건을 걸어도(조건부분포), 행렬을 곱해 선형변환을 해도, 두 가우시안 밀도를 곱해도 결과는 언제나 다시 가우시안이다! 이 성질 덕분에 9장의 베이지안 선형 회귀와 11장의 GMM에서 모든 사후분포를 컴퓨터의 복잡한 수치 적분 없이 종이와 연필로 닫힌 형태(closed form)로 유도할 수 있다.

정의와 성질

1. 다변량 가우시안 분포(Multivariate Normal Distribution)

$D$차원 확률변수 벡터 $\boldsymbol{x} \in \mathbb{R}^D$가 평균 $\boldsymbol{\mu} \in \mathbb{R}^D$, 공분산 행렬 $\Sigma \in \mathbb{R}^{D \times D}$를 가질 때의 확률밀도함수:

• 정규화 계수: $\frac{1}{(2\pi)^{D/2} |\Sigma|^{1/2}}$ (전체 적분이 1이 되도록 맞춤).
• 마할라노비스 거리(Mahalanobis Distance): $d_M^2 = (\boldsymbol{x} - \boldsymbol{\mu})^\top \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu})$ (분포의 중심으로부터의 통계적 거리).
• 등밀도 타원체(Contour Ellipsoid): 지수부의 2차 형식 $(\boldsymbol{x} - \boldsymbol{\mu})^\top \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}) = c^2$는 타원체를 형성하며, 주축의 방향은 $\Sigma$의 고유벡터, 축의 길이는 고유값의 제곱근 $\sqrt{\lambda_i}$에 비례한다.

2. 6.5.1 가우시안의 주변분포와 조건부 분포 (Marginals & Conditionals)

변수 벡터 $\boldsymbol{x}$를 두 개의 부분 벡터 $\boldsymbol{x}_a \in \mathbb{R}^P$와 $\boldsymbol{x}_b \in \mathbb{R}^Q$ ($D = P + Q$)로 분할(partition)하자:

(여기서 $\Sigma_{ba} = \Sigma_{ab}^\top$).

1. 주변분포(Marginal Distribution):

   $$\begin{aligned} p(\boldsymbol{x}_a) &= \int p(\boldsymbol{x}_a, \boldsymbol{x}_b) d\boldsymbol{x}_b \\ &= \mathcal{N}(\boldsymbol{x}_a \mid \boldsymbol{\mu}_a, \Sigma_{aa}) \end{aligned}$$
   $$\begin{aligned} p(\boldsymbol{x}_b) &= \int p(\boldsymbol{x}_a, \boldsymbol{x}_b) d\boldsymbol{x}_a \\ &= \mathcal{N}(\boldsymbol{x}_b \mid \boldsymbol{\mu}_b, \Sigma_{bb}) \end{aligned}$$

   직관: 관심 없는 변수 블록 $\boldsymbol{x}_b$를 주변화(적분)할 때는 복잡한 계산을 할 필요가 전혀 없다! 결합 평균 벡터와 공분산 행렬에서 해당 블록 행과 열을 그냥 지워버리면(drop) 남은 것이 바로 주변분포다!

2. 조건부 분포(Conditional Distribution): $\boldsymbol{x}_b$의 값이 관측되었을 때, $\boldsymbol{x}_a$의 조건부 분포 $p(\boldsymbol{x}_a \mid \boldsymbol{x}_b)$ 역시 가우시안이다:

   $$p(\boldsymbol{x}_a \mid \boldsymbol{x}_b) = \mathcal{N}(\boldsymbol{x}_a \mid \boldsymbol{\mu}_{a \mid b}, \Sigma_{a \mid b})$$
   $$\boldsymbol{\mu}_{a \mid b} = \boldsymbol{\mu}_a + \Sigma_{ab} \Sigma_{bb}^{-1} (\boldsymbol{x}_b - \boldsymbol{\mu}_b)$$
   $$\Sigma_{a \mid b} = \Sigma_{aa} - \Sigma_{ab} \Sigma_{bb}^{-1} \Sigma_{ba}$$
   • 조건부 평균 $\boldsymbol{\mu}_{a \mid b}$: 원래 평균 $\boldsymbol{\mu}_a$에 관측 오차 $(\boldsymbol{x}_b - \boldsymbol{\mu}_b)$가 교차 공분산 가중치 $\Sigma_{ab}\Sigma_{bb}^{-1}$를 통해 보정된다.
   • 조건부 공분산 $\Sigma_{a \mid b}$: 원래 공분산 $\Sigma_{aa}$에서 정보 획득으로 인한 불확실성 감소분 $\Sigma_{ab} \Sigma_{bb}^{-1} \Sigma_{ba}$만큼 차감된다. 이는 $\Sigma_{aa}$의 슈어 보수(Schur Complement)다.
   • 결정적 특징: 조건부 분산 $\Sigma_{a \mid b}$는 관측값 $\boldsymbol{x}_b$에 전혀 의존하지 않는다! (관측값이 무엇이든 분산 축소량은 사전 공분산 구조만으로 결정된다).
   • 정밀도 행렬 $\Lambda = \Sigma^{-1}$ 표현: $\Sigma_{a \mid b} = \Lambda_{aa}^{-1}, \quad \boldsymbol{\mu}_{a \mid b} = \boldsymbol{\mu}_a - \Lambda_{aa}^{-1} \Lambda_{ab} (\boldsymbol{x}_b - \boldsymbol{\mu}_b)$

3. 6.5.2 가우시안 밀도의 곱 (Product of Gaussian Densities)

두 가우시안 밀도의 곱은 정규화되지 않은 또 다른 가우시안 밀도(스케일 상수 $c$가 곱해진 형태)가 된다:

여기서:

• 정밀도 관점에서 보면: $C^{-1} = A^{-1} + B^{-1}$로 정밀도 행렬이 단순히 더해진다!
• 가중 평균: 평균 $\boldsymbol{c}_0$는 각 가우시안의 정밀도 가중 평균이다.

4. 6.5.3 합과 선형 변환

1. 아핀 변환: $\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma) \implies \boldsymbol{y} = A\boldsymbol{x} + \boldsymbol{b} \sim \mathcal{N}(A\boldsymbol{\mu} + \boldsymbol{b}, A \Sigma A^\top)$
2. 독립 가우시안의 합: $\boldsymbol{x} \sim \mathcal{N}(\boldsymbol{\mu}_x, \Sigma_x), \quad \boldsymbol{y} \sim \mathcal{N}(\boldsymbol{\mu}_y, \Sigma_y) \implies \boldsymbol{x} + \boldsymbol{y} \sim \mathcal{N}(\boldsymbol{\mu}_x + \boldsymbol{\mu}_y, \Sigma_x + \Sigma_y)$
3. 가우시안 혼합(Mixture of Gaussians, 11장 GMM): 가우시안 확률변수의 가중합 $ax+by$과 가우시안 밀도의 가중합 $p(x) = \alpha p_1(x) + (1-\alpha)p_2(x)$는 완전히 다르다! 밀도의 가중합은 다봉(multimodal) 분포를 만들 수 있으며 이는 11장의 주제다.

5. 6.5.4 다변량 가우시안 샘플링

컴퓨터는 표준정규 난수 $z \sim \mathcal{N}(0, 1)$만 생성할 수 있다. 임의의 $\mathcal{N}(\boldsymbol{\mu}, \Sigma)$에서 샘플을 추출하는 방법:

1. 공분산 행렬 $\Sigma$의 촐레스키 분해(Cholesky Decomposition)를 수행하여 하삼각행렬 $L$을 구한다: $\Sigma = L L^\top$.
2. 표준정규분포로부터 $D$차원 벡터 $\boldsymbol{z} \sim \mathcal{N}(\mathbf{0}, I)$를 추출한다.
3. 선형 변환을 적용한다: $\boldsymbol{x} = \boldsymbol{\mu} + L\boldsymbol{z}$ 분산 검산: $\mathbb{V}[\boldsymbol{x}] = L \mathbb{V}[\boldsymbol{z}] L^\top = L I L^\top = L L^\top = \Sigma$. 맞다.

손으로 풀어 보는 예제

[예제 5-1] 2차원 가우시안의 조건부 분포 계산 (교재 예제 6.6 변형)

2차원 가우시안 벡터 $\boldsymbol{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma)$가 다음과 같이 주어졌다:

이때 $x_2 = 4$라는 관측값이 주어졌을 때 $x_1$의 조건부 분포 $p(x_1 \mid x_2 = 4)$를 구하라.

• 1단계 (블록 분할 식별):
  • $\mu_1 = 1$, $\mu_2 = 2$
  • $\Sigma_{11} = 4$, $\Sigma_{12} = 1$, $\Sigma_{21} = 1$, $\Sigma_{22} = 2$
  • 관측값 $x_2 = 4$
• 2단계 (조건부 평균 $\mu_{1 \mid 2}$ 계산): $\mu_{1 \mid 2} = \mu_1 + \Sigma_{12} \Sigma_{22}^{-1} (x_2 - \mu_2)$ $\mu_{1 \mid 2} = 1 + (1)(2^{-1})(4 - 2) = 1 + \frac{1}{2}(2) = 1 + 1 = 2$
• 3단계 (조건부 분산 $\Sigma_{1 \mid 2}$ 계산): $\Sigma_{1 \mid 2} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}$ $\Sigma_{1 \mid 2} = 4 - (1)(2^{-1})(1) = 4 - \frac{1}{2} = 3.5$
• 4단계 (결론): $p(x_1 \mid x_2 = 4) = \mathcal{N}(x_1 \mid 2, 3.5)$ 원래 $x_1$의 주변분포는 $\mathcal{N}(1, 4)$였으나, $x_2 = 4$라는 양의 상관관계(공분산 1)를 가진 변수가 평균보다 크게 관측되자 $x_1$의 평균도 1에서 2로 상향 조정되었고, 분산은 4에서 3.5로 줄어들어 불확실성이 감소했다.

[예제 5-2] 두 1차원 가우시안 밀도의 곱 계산

두 1차원 가우시안 $p_1(x) = \mathcal{N}(x \mid 2, 4)$ ($a = 2, A = 4$)와 $p_2(x) = \mathcal{N}(x \mid 6, 4)$ ($b = 6, B = 4$)의 곱 $p_1(x)p_2(x) = c \mathcal{N}(x \mid c_0, C)$를 계산하라.

• 1단계 (합성 분산 $C$): $C = (A^{-1} + B^{-1})^{-1} = \left( \frac{1}{4} + \frac{1}{4} \right)^{-1} = \left( \frac{1}{2} \right)^{-1} = 2$
• 2단계 (합성 평균 $c_0$): $c_0 = C (A^{-1}a + B^{-1}b) = 2 \left( \frac{1}{4}(2) + \frac{1}{4}(6) \right) = 2 \left( \frac{2}{4} + \frac{6}{4} \right) = 2 \times 2 = 4$
• 3단계 (스케일링 상수 $c$): $c = \mathcal{N}(a \mid b, A + B) = \mathcal{N}(2 \mid 6, 4 + 4) = \mathcal{N}(2 \mid 6, 8)$. $c = \frac{1}{\sqrt{2\pi \times 8}} \exp\left( -\frac{(2 - 6)^2}{2 \times 8} \right) = \frac{1}{\sqrt{16\pi}} \exp\left( -\frac{(-4)^2}{16} \right) = \frac{1}{4\sqrt{\pi}} e^{-1} \approx \frac{0.3679}{7.0898} \approx 0.0519$
• 4단계 (결론): 두 가우시안의 곱은 평균이 두 평균 2와 6의 한가운데인 $4$이고(두 분산이 같아 정밀도 가중 평균이 단순 평균이 됨), 분산은 $2$로 두 분산($4$)보다 절반이나 작아진(더 뾰족해진) 가우시안이 된다!

헷갈리는 점 / 자주 하는 실수

• 주변분포와 조건부분포의 공분산 혼동: 주변분포는 그냥 $\Sigma_{aa}$이지만, 조건부분포는 $\Sigma_{aa} - \Sigma_{ab}\Sigma_{bb}^{-1}\Sigma_{ba}$로 반드시 줄어든다.