MML 5장 벡터 미적분: 기울기, 야코비안, 역전파

교재 쪽수: 139~171쪽
이 장이 뒤쪽 장에서 어디에 다시 쓰이는가: 7장 연속 최적화(Continuous Optimization, 경사하강법 및 뉴턴 방법의 토대), 9장 선형 회귀(Linear Regression, 비용함수 미분 및 정규방정식 $\nabla_{\boldsymbol{\theta}} L = \mathbf{0}$ 도출), 10장 차원 축소(Dimensionality Reduction/PCA, 라그랑주 승수법을 적용한 분산 극대화 목적식 미분), 11장 밀도 추정(Density Estimation/GMM, EM 알고리즘의 로그우도 매개변수 최적화), 12장 분류(SVM, 초평면 마진 최적화와 KKT 조건 유도). 머신러닝의 ‘학습(learning)‘은 곧 목적함수를 최적화하는 과정이며, 매개변수 공간에서 어느 방향으로 이동해야 손실(오차)이 가장 빠르게 줄어드는지를 알려주는 유일한 나침반이 바로 이 장의 기울기(gradient)와 야코비안(Jacobian)이다.

0. 이 장 지도

벡터 미적분은 머신러닝 모델의 파라미터를 데이터에 맞추어 최적화(학습)하기 위한 필수적인 수학적 언어다. 스칼라 함수를 다루던 고등학교 미분에서 출발하여, 다변수 함수(편미분/기울기), 벡터를 벡터로 보내는 함수(야코비안), 나아가 행렬에 대한 미분과 신경망 역전파(자동 미분)로 점진적으로 확장된다.

flowchart TD
    S51["5.1 일변수 함수의 미분<br/>(기초 미분, 테일러 급수)"] --> S52["5.2 편미분과 기울기<br/>(다변수 스칼라 함수, 연쇄법칙)"]
    S52 --> S53["5.3 벡터값 함수의 기울기<br/>(야코비안 행렬, 행렬 연쇄법칙)"]
    S53 --> S54["5.4 행렬의 기울기<br/>(텐서 야코비안, 벡터화)"]
    S54 --> S55["5.5 유용한 기울기 항등식<br/>(2차형식, 대각합, 행렬식, 역행렬)"]
    S53 --> S56["5.6 역전파와 자동 미분<br/>(심층신경망, Forward/Reverse 모드)"]
    S52 --> S57["5.7 고계 도함수<br/>(헤시안 행렬, 2계 편미분)"]
    S57 --> S58["5.8 선형화와 다변수 테일러 급수<br/>(국소 2차 곡면 근사)"]
    S55 --> Part2["Part 2 머신러닝 응용<br/>(9장 선형회귀, 11장 GMM 등)"]
    S56 --> Part2

절 목록 및 핵심 요약과 중요도

5.1 일변수 함수의 미분(Differentiation of Univariate Functions, 교재 141~146쪽)

왜 필요한가 (직관)

머신러닝의 궁극적인 목표는 손실 함수(Loss function)의 값을 최소화하는 최적의 매개변수를 찾는 것이다. 만약 우리가 조정할 수 있는 매개변수가 딱 하나($x$)뿐이라면, “현재 위치에서 $x$를 아주 조금 오른쪽으로 움직였을 때 손실이 늘어나는가, 줄어드는가?“를 알아야 한다. 이 질문에 답을 주는 수학적 도구가 바로 도함수(derivative)다. 도함수는 곡선 위의 한 점 근처를 직선(접선)으로 단순화하여, 변화의 즉각적인 방향과 속도를 알려준다.

정의와 성질

1. 미분의 정의

함수 $f: \mathbb{R} \to \mathbb{R}$에 대하여 점 $x$에서의 도함수 $f'(x)$ (또는 $\frac{df}{dx}$)는 차분상(difference quotient)의 극한으로 정의된다:

• $h$: 입력값의 미세한 변화량
• $f(x+h) - f(x)$: 그에 따른 출력값의 변화량
• 기하학적 의미: 곡선 $y = f(x)$ 위의 점 $(x, f(x))$에서의 접선의 기울기(tangent slope).

2. 5.1.1 테일러 급수(Taylor Series)

복잡한 비선형 함수 $f(x)$를 다루기는 어렵지만, 다항식(polynomial)은 미분하기도 쉽고 계산하기도 매우 편하다. 점 $x_0$ 근처에서 무한 번 미분 가능한 함수 $f(x)$를 다항식으로 근사하는 기법이 테일러 급수다.

$n$차 테일러 다항식(Taylor polynomial) $T_n(x)$는 다음과 같이 정의된다:

• $x_0$: 근사의 기준이 되는 중심점(expansion point). $x_0 = 0$일 때를 특별히 매클로린 급수(Maclaurin series)라고 부른다.
• $f^{(k)}(x_0)$: $f$의 $k$계 도함수를 $x_0$에서 평가한 값.
• $k!$: $k$ 팩토리얼 ($k! = k \times (k-1) \times \cdots \times 1$).
• 테일러 정리(Taylor’s Theorem)에 따르면, 원래 함수와 다항식 사이의 오차는 잉여항(remainder) $R_n(x)$로 주어지며, $f(x) = T_n(x) + R_n(x)$가 성립한다.

3. 5.1.2 미분 규칙(Differentiation Rules)

기본적인 미분 규칙은 다변수 미분에서도 성분별 계산에 그대로 적용된다:

1. 선형성(Linearity): $(\alpha f + \beta g)'(x) = \alpha f'(x) + \beta g'(x)$ (단, $\alpha, \beta \in \mathbb{R}$)
2. 곱의 미분법(Product Rule): $(f \cdot g)'(x) = f'(x)g(x) + f(x)g'(x)$
3. 몫의 미분법(Quotient Rule): $\left(\frac{f}{g}\right)'(x) = \frac{f'(x)g(x) - f(x)g'(x)}{(g(x))^2}$ (단, $g(x) \neq 0$)
4. 연쇄 법칙(Chain Rule): 합성함수 $(g \circ f)(x) = g(f(x))$에 대하여, $(g \circ f)'(x) = g'(f(x)) \cdot f'(x), \quad \text{즉 } \frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx} \quad (y = g(u), u = f(x))$

손으로 풀어 보는 예제

[예제 1-1] 곱의 미분법과 연쇄법칙

함수 $f(x) = x^3 e^{-2x}$의 도함수를 구하고, $x = 1$에서의 값을 계산하라.

• 1단계 (함수 분해): $u(x) = x^3$, $v(x) = e^{-2x}$로 둔다.
• 2단계 (개별 미분):
  • $u'(x) = 3x^2$
  • $v(x) = e^{w}$ (단, $w = -2x$)이므로 연쇄법칙에 의해 $v'(x) = e^w \cdot \frac{dw}{dx} = e^{-2x} \cdot (-2) = -2e^{-2x}$
• 3단계 (곱의 미분법 결합): $f'(x) = u'(x)v(x) + u(x)v'(x) = (3x^2)(e^{-2x}) + (x^3)(-2e^{-2x}) = (3x^2 - 2x^3)e^{-2x} = x^2(3 - 2x)e^{-2x}$
• 4단계 ($x=1$ 대입): $f'(1) = 1^2 (3 - 2(1)) e^{-2(1)} = 1 \cdot 1 \cdot e^{-2} = e^{-2} \approx 0.1353$

[예제 1-2] 로지스틱 시그모이드(Logistic Sigmoid)의 도함수

딥러닝의 대표적 활성화 함수인 로지스틱 시그모이드 $\sigma(x) = \frac{1}{1 + e^{-x}}$의 도함수가 $\sigma(x)(1 - \sigma(x))$임을 증명하라.

• 1단계 (음의 지수꼴 표현): $\sigma(x) = (1 + e^{-x})^{-1}$
• 2단계 (연쇄법칙 적용): 겉함수는 $u^{-1}$, 속함수는 $u = 1 + e^{-x}$이다. $\sigma'(x) = -1 \cdot (1 + e^{-x})^{-2} \cdot \frac{d}{dx}(1 + e^{-x})$
• 3단계 (속함수 미분): $\frac{d}{dx}(1 + e^{-x}) = 0 + e^{-x}(-1) = -e^{-x}$
• 4단계 (정리): $\sigma'(x) = -(1 + e^{-x})^{-2} (-e^{-x}) = \frac{e^{-x}}{(1 + e^{-x})^2}$
• 5단계 (형태 변형): $\frac{e^{-x}}{(1 + e^{-x})^2} = \frac{1}{1 + e^{-x}} \cdot \frac{e^{-x}}{1 + e^{-x}} = \frac{1}{1 + e^{-x}} \cdot \frac{(1 + e^{-x}) - 1}{1 + e^{-x}} = \sigma(x) \left(1 - \frac{1}{1 + e^{-x}}\right) = \sigma(x)(1 - \sigma(x))$ 이 성질은 뒤쪽 5.6절의 역전파 계산에서 시그모이드 층의 기울기를 구할 때 계산량을 극적으로 줄여준다.

[예제 1-3] 테일러 다항식 계산

$x_0 = 0$에서 $f(x) = \cos(x)$의 4차 테일러 다항식 $T_4(x)$를 구하고, $x = 0.5$에서의 참값과 근사값을 비교하라.

• 1단계 (도함수 값 계산):
  • $f(0) = \cos(0) = 1$
  • $f'(0) = -\sin(0) = 0$
  • $f''(0) = -\cos(0) = -1$
  • $f'''(0) = \sin(0) = 0$
  • $f^{(4)}(0) = \cos(0) = 1$
• 2단계 (테일러 다항식 조립): $T_4(x) = 1 + 0 \cdot x + \frac{-1}{2!} x^2 + 0 \cdot x^3 + \frac{1}{4!} x^4 = 1 - \frac{1}{2} x^2 + \frac{1}{24} x^4$
• 3단계 ($x = 0.5$ 계산): $T_4(0.5) = 1 - 0.5 \times 0.25 + \frac{1}{24} \times 0.0625 = 1 - 0.125 + 0.00260417 = 0.87760417$ 실제 $\cos(0.5)$ 참값은 약 $0.87758256$이다. 오차는 약 $0.0000216$($0.002\%$)에 불과하다.

헷갈리는 점 / 자주 하는 실수

• 연쇄법칙 속함수 누락: $f(x) = \sin(x^3)$을 미분할 때 $\cos(x^3)$만 쓰고 속함수 미분인 $3x^2$를 곱하는 것을 잊는 실수가 매우 흔하다.
• 테일러 급수 분모 팩토리얼 누락: 2차 항의 분모는 $2! = 2$, 3차 항의 분모는 $3! = 6$, 4차 항의 분모는 $4! = 24$이다. 팩토리얼을 그냥 차수 수치로 착각하지 않도록 주의한다.

5.2 편미분과 기울기(Partial Differentiation and Gradients, 교재 146~149쪽)

왜 필요한가 (직관)

실제 머신러닝 모델의 파라미터는 1개가 아니라 수천, 수백만 개(벡터 $\boldsymbol{x} \in \mathbb{R}^n$)다. 예를 들어 산비탈에 서 있을 때, 동서 방향으로 한 걸음 갈 때의 경사와 남북 방향으로 한 걸음 갈 때의 경사는 완전히 다르다. 다변수 함수 $f(x_1, x_2, \dots, x_n)$에서 다른 모든 변수는 얼어붙은 듯 고정(상수 취급)시키고, 관심 있는 변수 하나($x_i$)만 살짝 움직였을 때의 변화율을 구하는 것이 바로 편미분(partial differentiation)이다. 그리고 이 모든 방향의 편미분을 하나의 벡터로 정돈해 묶은 것이 기울기(gradient, 그레디언트)다.

정의와 성질

1. 편미분의 정의

$n$개 변수를 가지는 함수 $f: \mathbb{R}^n \to \mathbb{R}$에 대하여, $i$번째 변수 $x_i$에 대한 편도함수(partial derivative)는 다음과 같이 정의된다:

기호 $\partial$는 편미분을 나타내며, 읽을 때는 ‘라운드(round)’ 또는 ‘파셜(partial)‘이라고 읽는다.

2. 기울기(Gradient)의 정의와 MML의 표기 관례

편미분들을 가로로 늘어놓아 벡터로 만든 것을 기울기(gradient) 또는 야코비안(Jacobian)이라고 부른다.

[매우 중요! MML 교재의 핵심 관례: 분자 중심 표기법(Numerator Layout)] 교재 MML에서는 입력 벡터가 $\boldsymbol{x} = [x_1, \dots, x_n]^\top \in \mathbb{R}^{n \times 1}$ (열벡터)일 때, 스칼라 함수 $f$의 기울기 $\frac{df}{d\boldsymbol{x}}$를 반드시 $1 \times n$ 행벡터(row vector)로 정의한다!

왜 행벡터로 정의하는가? (교재의 두 가지 이유)

1. 일관된 일반화: 이후 5.3절에서 배울 벡터값 함수 $\boldsymbol{f}: \mathbb{R}^n \to \mathbb{R}^m$의 도함수(야코비안 행렬)는 $m \times n$ 행렬이 된다. $m=1$인 특수한 경우가 바로 스칼라 함수이므로, $1 \times n$ 행벡터가 되는 것이 차원적으로 정확히 일관된다.
2. 연쇄법칙의 깔끔함: 기울기를 행벡터로 정의해야만 다변수 연쇄법칙을 쓸 때 전치($^\top$) 기호를 덕지덕지 붙이지 않고 단순 행렬곱 $\frac{dz}{d\boldsymbol{x}} = \frac{dz}{d\boldsymbol{y}} \frac{d\boldsymbol{y}}{d\boldsymbol{x}}$ ($1 \times n = (1 \times m) \times (m \times n)$)으로 직관적으로 쓸 수 있다.

(주의: 딥러닝 관례와의 차이) 딥러닝 실무나 일부 교재(예: Goodfellow의 Deep Learning)에서는 분모 중심 표기법(Denominator Layout)을 사용하여 기울기를 $\boldsymbol{x}$와 같은 형태인 $n \times 1$ 열벡터로 표기하기도 한다. 시험 답안을 작성할 때는 MML의 정의에 따라 기본적으로 행벡터($1 \times n$)로 서술하되, 필요 시 “분모 중심 표기법에서는 이를 전치한 열벡터 $\nabla f \in \mathbb{R}^{n \times 1}$로 표현한다"고 덧붙여 주는 것이 안전하다.

3. 5.2.1 편미분의 기본 규칙

• 합의 규칙: $\frac{\partial}{\partial \boldsymbol{x}} (f(\boldsymbol{x}) + g(\boldsymbol{x})) = \frac{\partial f}{\partial \boldsymbol{x}} + \frac{\partial g}{\partial \boldsymbol{x}}$
• 곱의 규칙: $\frac{\partial}{\partial \boldsymbol{x}} (f(\boldsymbol{x}) g(\boldsymbol{x})) = g(\boldsymbol{x}) \frac{\partial f}{\partial \boldsymbol{x}} + f(\boldsymbol{x}) \frac{\partial g}{\partial \boldsymbol{x}}$ (스칼라 함수들의 곱)

4. 5.2.2 다변수 연쇄 법칙(Chain Rule)

함수 $f(x_1, x_2)$가 있고, 변수 $x_1(t)$와 $x_2(t)$가 또 다른 단일 변수 $t$의 함수라고 하자. 이때 $t$의 변화가 $x_1$과 $x_2$를 동시에 거쳐 $f$에 전달되므로, 전체 변화율은 각 경로의 변화율을 모두 더한 것이 된다:

행벡터 기울기와 열벡터 변화율의 행렬곱으로 정확히 표현된다!

손으로 풀어 보는 예제

[예제 2-1] 편미분과 기울기 벡터 계산 (교재 예제 5.7 변형)

함수 $f(x_1, x_2) = x_1^2 x_2 + x_1 x_2^3$에 대하여 편도함수들과 기울기 벡터를 구하고, 점 $\boldsymbol{x} = \begin{bmatrix} 2 \\ 1 \end{bmatrix}$에서의 기울기를 계산하라.

• 1단계 ($x_1$ 편미분): $x_2$를 상수 취급한다. $\frac{\partial f}{\partial x_1} = \frac{\partial}{\partial x_1}(x_1^2) \cdot x_2 + \frac{\partial}{\partial x_1}(x_1) \cdot x_2^3 = 2x_1 x_2 + 1 \cdot x_2^3 = 2x_1 x_2 + x_2^3$
• 2단계 ($x_2$ 편미분): $x_1$을 상수 취급한다. $\frac{\partial f}{\partial x_2} = x_1^2 \cdot \frac{\partial}{\partial x_2}(x_2) + x_1 \cdot \frac{\partial}{\partial x_2}(x_2^3) = x_1^2 \cdot 1 + x_1 \cdot (3x_2^2) = x_1^2 + 3x_1 x_2^2$
• 3단계 (기울기 행벡터 조립): $\frac{df}{d\boldsymbol{x}} = \begin{bmatrix} \frac{\partial f}{\partial x_1} & \frac{\partial f}{\partial x_2} \end{bmatrix} = \begin{bmatrix} 2x_1 x_2 + x_2^3 & x_1^2 + 3x_1 x_2^2 \end{bmatrix} \in \mathbb{R}^{1 \times 2}$
• 4단계 (점 $(2, 1)$ 대입):
  • $\frac{\partial f}{\partial x_1}(2, 1) = 2(2)(1) + 1^3 = 4 + 1 = 5$
  • $\frac{\partial f}{\partial x_2}(2, 1) = 2^2 + 3(2)(1^2) = 4 + 6 = 10$
  • 따라서 $\nabla_{\boldsymbol{x}} f(2, 1) = \begin{bmatrix} 5 & 10 \end{bmatrix} \in \mathbb{R}^{1 \times 2}$

[예제 2-2] 다변수 연쇄법칙 (교재 예제 5.8)

$f(x_1, x_2) = x_1^2 + 2x_2$이고 $x_1(t) = \sin t$, $x_2(t) = \cos t$일 때, $\frac{df}{dt}$를 연쇄법칙으로 구하고 직접 대입법과 비교하라.

• 1단계 (각각의 도함수 계산):
  • $\frac{\partial f}{\partial x_1} = 2x_1 = 2\sin t$
  • $\frac{\partial f}{\partial x_2} = 2$
  • $\frac{dx_1}{dt} = \cos t$, $\frac{dx_2}{dt} = -\sin t$
• 2단계 (연쇄법칙 적용): $\frac{df}{dt} = \frac{\partial f}{\partial x_1}\frac{dx_1}{dt} + \frac{\partial f}{\partial x_2}\frac{dx_2}{dt} = (2\sin t)(\cos t) + (2)(-\sin t) = 2\sin t \cos t - 2\sin t = \sin(2t) - 2\sin t$
• 3단계 (직접 대입법으로 검산): $f(t) = (\sin t)^2 + 2\cos t = \sin^2 t + 2\cos t$. 미분하면: $\frac{df}{dt} = 2\sin t \cos t + 2(-\sin t) = 2\sin t \cos t - 2\sin t$ 두 결과가 완전히 일치한다!

헷갈리는 점 / 자주 하는 실수

• 다른 변수를 상수로 취급하지 못하는 실수: $x_1$으로 미분할 때 $x_2$를 보면서 ‘곱의 미분법을 써야 하나?’ 망설이는 경우가 있다. $x_1$ 이외의 모든 기호는 숫자 3이나 5처럼 완전한 상수다.
• 행벡터와 열벡터의 차원 불일치: 교재 관례에 따라 $\nabla f$는 $1 \times n$ 행벡터다. 이를 경사하강법 갱신식 $\boldsymbol{x}_{k+1} = \boldsymbol{x}_k - \gamma \nabla f^\top$에 넣을 때는 전치하여 $n \times 1$ 열벡터로 만들어 주어야 $\boldsymbol{x}$와 차원이 맞는다.

5.3 벡터값 함수의 기울기(Gradients of Vector-Valued Functions, 교재 149~154쪽)

왜 필요한가 (직관)

입력도 벡터이고 출력도 벡터인 함수 $\boldsymbol{f}: \mathbb{R}^n \to \mathbb{R}^m$는 머신러닝의 도처에 존재한다. 신경망의 한 계층(layer)은 입력 벡터 $\boldsymbol{x} \in \mathbb{R}^n$을 받아 은닉 상태 벡터 $\boldsymbol{h} \in \mathbb{R}^m$를 출력한다. 이때 $n$개의 입력 변수 각각이 $m$개의 출력 변수 각각에 미치는 모든 편미분 영향력을 빠짐없이 기록하려면 직사각형 형태의 행렬이 필요하다. 이 행렬이 바로 야코비안 행렬(Jacobian Matrix)이다.

정의와 성질

1. 야코비안 행렬(Jacobian)의 정의

함수 $\boldsymbol{f}: \mathbb{R}^n \to \mathbb{R}^m$의 야코비안 행렬 $J = \frac{d\boldsymbol{f}}{d\boldsymbol{x}} \in \mathbb{R}^{m \times n}$은 모든 1계 편도함수를 모아 놓은 행렬이다:

• 행(Row)의 의미: $i$번째 행은 출력의 $i$번째 성분 $f_i$에 대한 기울기 행벡터 $\nabla_{\boldsymbol{x}} f_i \in \mathbb{R}^{1 \times n}$이다. $J = \begin{bmatrix} \nabla_{\boldsymbol{x}} f_1 \\ \nabla_{\boldsymbol{x}} f_2 \\ \vdots \\ \nabla_{\boldsymbol{x}} f_m \end{bmatrix}$
• 열(Column)의 의미: $j$번째 열은 입력 변수 $x_j$로 전체 함수 벡터 $\boldsymbol{f}$를 편미분한 열벡터 $\frac{\partial \boldsymbol{f}}{\partial x_j} \in \mathbb{R}^{m \times 1}$이다.
• 차원 규칙: (출력의 차원 $m$) $\times$ (입력의 차원 $n$).

2. 다변수 연쇄법칙의 행렬곱 표현

두 벡터값 함수의 합성 $\boldsymbol{x} \in \mathbb{R}^n \xrightarrow{\boldsymbol{f}} \boldsymbol{y} \in \mathbb{R}^m \xrightarrow{\boldsymbol{g}} \boldsymbol{z} \in \mathbb{R}^k$에 대하여, 최종 출력 $\boldsymbol{z}$의 입력 $\boldsymbol{x}$에 대한 야코비안은 각 단계 야코비안의 단순 행렬곱이다:

• 차원 확인: $\underbrace{\frac{d\boldsymbol{z}}{d\boldsymbol{x}}}_{k \times n} = \underbrace{\frac{d\boldsymbol{g}}{d\boldsymbol{y}}}_{k \times m} \times \underbrace{\frac{d\boldsymbol{f}}{d\boldsymbol{x}}}_{m \times n}$ 가운데 차원 $m$이 자연스럽게 소거되면서 $k \times n$이 완성된다. 분자 중심 표기법을 채택했기 때문에 가능한 우아한 결과다.

손으로 풀어 보는 예제

[예제 3-1] 아핀 변환(Affine Transformation)의 야코비안

$\boldsymbol{f}(\boldsymbol{x}) = A\boldsymbol{x} + \boldsymbol{b}$ (단, $A \in \mathbb{R}^{m \times n}, \boldsymbol{b} \in \mathbb{R}^m$)의 야코비안이 $A$임을 성분별로 증명하라.

• 1단계 (성분별 표현): 출력 벡터의 $i$번째 성분은 $f_i(\boldsymbol{x}) = \sum_{j=1}^n A_{ij} x_j + b_i$이다.
• 2단계 (편미분 계산): 이를 입력 변수 $x_k$로 편미분하면: $\begin{aligned} \frac{\partial f_i}{\partial x_k} &= \frac{\partial}{\partial x_k} \bigl( A_{i1}x_1 + \dots + A_{ik}x_k \\ &\quad + \dots + A_{in}x_n + b_i \bigr) = A_{ik} \end{aligned}$
• 3단계 (행렬 구성): 야코비안의 $(i, k)$ 성분이 정확히 행렬 $A$의 $(i, k)$ 성분 $A_{ik}$와 같다! 따라서: $\frac{d(A\boldsymbol{x} + \boldsymbol{b})}{d\boldsymbol{x}} = A \in \mathbb{R}^{m \times n}$ 일변수 함수 $ax+b$를 미분하면 $a$가 남듯이, 벡터 함수 $A\boldsymbol{x}+\boldsymbol{b}$를 미분하면 변환 행렬 $A$ 자체가 남는다.

[예제 3-2] 극좌표 변환과 야코비안 행렬식

2차원 평면에서 극좌표 $(r, \theta)$를 직교좌표 $(x, y)$로 변환하는 함수 $\boldsymbol{f}(r, \theta) = \begin{bmatrix} r \cos \theta \\ r \sin \theta \end{bmatrix}$의 야코비안을 구하고, 그 행렬식(determinant)을 계산하라.

• 1단계 (편도함수 계산):
  • $f_1(r, \theta) = r\cos\theta \implies \frac{\partial f_1}{\partial r} = \cos\theta, \quad \frac{\partial f_1}{\partial \theta} = -r\sin\theta$
  • $f_2(r, \theta) = r\sin\theta \implies \frac{\partial f_2}{\partial r} = \sin\theta, \quad \frac{\partial f_2}{\partial \theta} = r\cos\theta$
• 2단계 (야코비안 조립): $J = \begin{bmatrix} \frac{\partial f_1}{\partial r} & \frac{\partial f_1}{\partial \theta} \\ \frac{\partial f_2}{\partial r} & \frac{\partial f_2}{\partial \theta} \end{bmatrix} = \begin{bmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{bmatrix} \in \mathbb{R}^{2 \times 2}$
• 3단계 (행렬식 계산): $\det(J) = (\cos\theta)(r\cos\theta) - (-r\sin\theta)(\sin\theta) = r\cos^2\theta + r\sin^2\theta = r(\cos^2\theta + \sin^2\theta) = r$ 이 $\det(J) = r$은 미적분학에서 2중적분 치환 시 미소 면적 요소가 $dx dy = r dr d\theta$가 되는 이유이며, 6장 확률분포의 변수 변환(Change of Variables) 공식에서 핵심적인 역할을 한다.

[예제 3-3] 합성함수의 야코비안 연쇄법칙 계산

$\boldsymbol{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \xrightarrow{\boldsymbol{f}} \boldsymbol{y} = \begin{bmatrix} x_1 x_2 \\ x_1 + x_2 \end{bmatrix} \xrightarrow{g} z = y_1^2 + 3y_2$ 일 때, 점 $\boldsymbol{x} = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$에서 $\frac{dz}{d\boldsymbol{x}}$를 연쇄법칙으로 구하라.

• 1단계 (중간값 계산): $\boldsymbol{x} = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$ 대입 $\implies y_1 = 1 \times 2 = 2, \quad y_2 = 1 + 2 = 3$.
• 2단계 ($J_{\boldsymbol{f}}$ 계산): $J_{\boldsymbol{f}} = \begin{bmatrix} \frac{\partial(x_1 x_2)}{\partial x_1} & \frac{\partial(x_1 x_2)}{\partial x_2} \\ \frac{\partial(x_1 + x_2)}{\partial x_1} & \frac{\partial(x_1 + x_2)}{\partial x_2} \end{bmatrix} = \begin{bmatrix} x_2 & x_1 \\ 1 & 1 \end{bmatrix} \implies J_{\boldsymbol{f}}(1, 2) = \begin{bmatrix} 2 & 1 \\ 1 & 1 \end{bmatrix} \in \mathbb{R}^{2 \times 2}$
• 3단계 ($J_g$ 계산): $z$는 스칼라이므로 $J_g$는 $1 \times 2$ 행벡터다: $J_g = \begin{bmatrix} \frac{\partial z}{\partial y_1} & \frac{\partial z}{\partial y_2} \end{bmatrix} = \begin{bmatrix} 2y_1 & 3 \end{bmatrix} \implies J_g(2, 3) = \begin{bmatrix} 2(2) & 3 \end{bmatrix} = \begin{bmatrix} 4 & 3 \end{bmatrix} \in \mathbb{R}^{1 \times 2}$
• 4단계 (연쇄법칙 행렬곱): $\frac{dz}{d\boldsymbol{x}} = J_g \cdot J_{\boldsymbol{f}} = \begin{bmatrix} 4 & 3 \end{bmatrix} \begin{bmatrix} 2 & 1 \\ 1 & 1 \end{bmatrix} = \begin{bmatrix} 4(2) + 3(1) & 4(1) + 3(1) \end{bmatrix} = \begin{bmatrix} 8 + 3 & 4 + 3 \end{bmatrix} = \begin{bmatrix} 11 & 7 \end{bmatrix} \in \mathbb{R}^{1 \times 2}$
• 5단계 (직접 대입 검산): $z = (x_1 x_2)^2 + 3(x_1 + x_2) = x_1^2 x_2^2 + 3x_1 + 3x_2$. $\frac{\partial z}{\partial x_1} = 2x_1 x_2^2 + 3 \implies 2(1)(4) + 3 = 11$. $\frac{\partial z}{\partial x_2} = 2x_1^2 x_2 + 3 \implies 2(1)(2) + 3 = 7$. $\begin{bmatrix} 11 & 7 \end{bmatrix}$로 정확히 일치한다!

헷갈리는 점 / 자주 하는 실수

• 야코비안의 차원 반대 표기: 야코비안 행렬의 행 수는 ‘출력의 개수($m$)’, 열 수는 ‘입력의 개수($n$)‘이다. 이를 $n \times m$으로 잘못 쓰면 연쇄법칙 행렬곱의 안쪽 차원이 맞지 않아 계산이 완전히 불가능해진다.

5.4 행렬의 기울기(Gradients of Matrices, 교재 155~157쪽)

왜 필요한가 (직관)

신경망의 가중치 $W$나 다변량 가우시안의 공분산 행렬 $\Sigma$는 벡터가 아니라 2차원 격자 구조를 가진 행렬이다. 손실 함수 $L$을 최소화하기 위해서는 “행렬의 각 성분 $W_{ij}$를 어떻게 바꾸어야 하는가?“를 계산해야 한다. 나아가 행렬 입력이 벡터 출력을 내거나, 행렬이 행렬로 변환되는 복잡한 함수를 다룰 때의 미분 체계를 이해해야 한다.

정의와 성질

1. 행렬을 벡터로 미분: 3차원 텐서 야코비안

행렬 $A \in \mathbb{R}^{m \times n}$의 각 원소가 벡터 $\boldsymbol{x} \in \mathbb{R}^p$의 함수일 때, $\frac{dA}{d\boldsymbol{x}}$는 3차원 배열(3rd-order tensor)이 된다:

교재 그림 5.7처럼, 각 입력 성분 $x_k$에 대한 편미분 편평면 $\frac{\partial A}{\partial x_k} \in \mathbb{R}^{m \times n}$이 $p$장 겹쳐져 있는 직육면체 모양의 텐서로 시각화할 수 있다.

2. 스칼라를 행렬로 미분

머신러닝에서 가장 흔히 마주치는 상황은 스칼라 손실 $f: \mathbb{R}^{m \times n} \to \mathbb{R}$을 행렬 $X \in \mathbb{R}^{m \times n}$로 미분하는 것이다.

즉, 원래 행렬 $X$와 동일한 모양($m \times n$)의 격자 안에 각 성분에 대한 편미분 값을 채워 넣는다.

3. 벡터화(Vectorization, $\text{vec}$) 기법

텐서 연산은 일반적인 2차원 행렬 대수에 비해 직관적이지 못하다. 이를 해결하는 가장 표준적인 수학적 방법은 $m \times n$ 행렬 $A$의 열들을 차례로 세로로 길게 이어붙여 $mn \times 1$ 크기의 거대한 열벡터 $\text{vec}(A)$로 만드는 것이다.

• 행렬 $A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}$ 이면 $\text{vec}(A) = \begin{bmatrix} a_{11} \\ a_{21} \\ a_{12} \\ a_{22} \end{bmatrix} \in \mathbb{R}^{4 \times 1}$.
• 벡터화를 적용하면 모든 행렬 미분 문제를 5.3절의 표준 벡터 야코비안 문제($\mathbb{R}^{mn} \to \mathbb{R}^{kl}$)로 환원하여 연쇄법칙을 적용할 수 있다.

손으로 풀어 보는 예제

[예제 4-1] 스칼라 함수에 대한 행렬 미분 성분 계산

$A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$, $X = \begin{bmatrix} x_{11} & x_{12} \\ x_{21} & x_{22} \end{bmatrix}$일 때, $f(X) = \text{tr}(AX)$의 도함수 $\frac{\partial f}{\partial X}$를 성분별로 직접 구하라.

• 1단계 (행렬곱 $AX$ 계산): $AX = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} \begin{bmatrix} x_{11} & x_{12} \\ x_{21} & x_{22} \end{bmatrix} = \begin{bmatrix} 1x_{11} + 2x_{21} & 1x_{12} + 2x_{22} \\ 3x_{11} + 4x_{21} & 3x_{12} + 4x_{22} \end{bmatrix}$
• 2단계 (대각합 $\text{tr}(AX)$ 계산): 대각 성분들의 합을 구한다: $f(X) = \text{tr}(AX) = (x_{11} + 2x_{21}) + (3x_{12} + 4x_{22}) = x_{11} + 3x_{12} + 2x_{21} + 4x_{22}$
• 3단계 (각 성분별 편미분):
  • $\frac{\partial f}{\partial x_{11}} = 1$
  • $\frac{\partial f}{\partial x_{12}} = 3$
  • $\frac{\partial f}{\partial x_{21}} = 2$
  • $\frac{\partial f}{\partial x_{22}} = 4$
• 4단계 (행렬 조립): $\frac{\partial f}{\partial X} = \begin{bmatrix} \frac{\partial f}{\partial x_{11}} & \frac{\partial f}{\partial x_{12}} \\ \frac{\partial f}{\partial x_{21}} & \frac{\partial f}{\partial x_{22}} \end{bmatrix} = \begin{bmatrix} 1 & 3 \\ 2 & 4 \end{bmatrix}$ 이 결과는 $A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$의 전치행렬인 $A^\top = \begin{bmatrix} 1 & 3 \\ 2 & 4 \end{bmatrix}$와 정확히 같다! 따라서 $\frac{\partial \text{tr}(AX)}{\partial X} = A^\top$가 성립함을 손계산으로 직접 확인하였다.

헷갈리는 점 / 자주 하는 실수

• 전치($^\top$)의 출현: $\text{tr}(AX)$를 $X$로 미분하면 $A$가 아니라 $A^\top$가 나온다. 행렬 대각합의 성분 인덱스 결합 구조 때문에 전치가 필연적으로 발생하므로 공식을 암기할 때 전치 부착 여부를 반드시 체크해야 한다.

5.5 기울기 계산을 위한 유용한 항등식(Useful Identities for Computing Gradients, 교재 158쪽)

왜 필요한가 (직관)

복잡한 머신러닝 논문의 수식(예: 선형 회귀의 정규방정식, 가우시안 우도 극대화, 칼만 필터 게인 유도)을 전개할 때 매번 원소 단위($x_{ij}$)로 풀어서 합기호($\sum$)를 전개하는 것은 지나치게 비효율적이고 실수하기 쉽다. 선형대수학의 검증된 행렬 미분 항등식(Matrix Calculus Identities)을 활용하면 복잡한 다변수 목적함수의 최적화 해를 단 서너 줄 만에 깔끔하게 유도할 수 있다.

정의와 성질: 핵심 10대 항등식 및 차원(Shape) 완전 분석

교재 식 (5.99)(5.108)의 항등식(16번, 10번)과, 교재의 일반형(대각합·행렬식 식)을 $f(X)=X$ 같은 경우로 특수화한 자주 쓰는 공식(7~9번, 교재 밖 보충)을 차원 규칙과 함께 정리한다:

[차원 정합성 자가 검증 팁] 항등식 4번을 보자:

• $\boldsymbol{x} \in \mathbb{R}^D, \boldsymbol{s} \in \mathbb{R}^K, A \in \mathbb{R}^{D \times K}, W \in \mathbb{R}^{D \times D}$.
• 미분 대상 스칼라를 $K \times 1$ 열벡터 $\boldsymbol{s}$로 미분하므로 MML 분자 표기법에 의해 결과는 $1 \times K$ 행벡터가 나와야 한다.
• 우변의 차원: $\underbrace{(\boldsymbol{x} - A\boldsymbol{s})^\top}_{1 \times D} \times \underbrace{W}_{D \times D} \times \underbrace{A}_{D \times K} = 1 \times K$. 차원이 정확히 일치한다! 시험장에서 수식이 헷갈릴 때는 이처럼 양변의 shape를 맞춰보면 전치 실수를 대부분 잡아낼 수 있다.

손으로 풀어 보는 예제

[예제 5-1] 2차 형식의 기울기 검산

행렬 $B = \begin{bmatrix} 2 & 1 \\ 3 & 5 \end{bmatrix}$ (비대칭 행렬)에 대하여 $f(\boldsymbol{x}) = \boldsymbol{x}^\top B \boldsymbol{x}$의 기울기를 항등식과 성분 전개 두 가지 방식으로 각각 구하라.

• 방식 1 (항등식 3번 공식 적용): $B^\top = \begin{bmatrix} 2 & 3 \\ 1 & 5 \end{bmatrix}$이므로, $B + B^\top = \begin{bmatrix} 2+2 & 1+3 \\ 3+1 & 5+5 \end{bmatrix} = \begin{bmatrix} 4 & 4 \\ 4 & 10 \end{bmatrix}$ 공식 $\frac{df}{d\boldsymbol{x}} = \boldsymbol{x}^\top (B + B^\top)$을 적용하면: $\frac{df}{d\boldsymbol{x}} = \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 4 & 4 \\ 4 & 10 \end{bmatrix} = \begin{bmatrix} 4x_1 + 4x_2 & 4x_1 + 10x_2 \end{bmatrix} \in \mathbb{R}^{1 \times 2}$
• 방식 2 (성분 전개법): $f(\boldsymbol{x}) = \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 2x_1 + x_2 \\ 3x_1 + 5x_2 \end{bmatrix} = x_1(2x_1 + x_2) + x_2(3x_1 + 5x_2) = 2x_1^2 + 4x_1 x_2 + 5x_2^2$ 각 변수로 편미분:
  • $\frac{\partial f}{\partial x_1} = 4x_1 + 4x_2$
  • $\frac{\partial f}{\partial x_2} = 4x_1 + 10x_2$ 기울기 행벡터 조립: $\frac{df}{d\boldsymbol{x}} = \begin{bmatrix} 4x_1 + 4x_2 & 4x_1 + 10x_2 \end{bmatrix}$ 두 방식의 결과가 완전히 일치한다!

헷갈리는 점 / 자주 하는 실수

• 행렬의 대칭성 확인 소홀: $\boldsymbol{x}^\top B \boldsymbol{x}$를 미분할 때 $B$가 대칭이라는 보장이 없는데 무턱대고 $2\boldsymbol{x}^\top B$라고 쓰면 감점된다. 반드시 $\boldsymbol{x}^\top (B + B^\top)$로 적거나, “$B$가 대칭행렬이므로 $B+B^\top = 2B$“라는 조건을 명시해야 한다.