MML 2장 선형대수: 연립방정식, 기저와 랭크, 선형사상

교재 17~69쪽. 이 장의 개념은 책 전체에서 계속 쓰인다. 3장(내적·사영)과 4장(고유값·SVD)은 이 장 위에 쌓이고, 9장의 정규방정식은 연립방정식 풀기, 10장 PCA는 “좋은 기저(축)를 고르는 문제”, 12장 SVM의 결정 경계는 아핀 부분공간(초평면)이다.

0. 이 장 지도

흐름: 연립방정식(2.1) → 그것을 담는 그릇인 행렬(2.2) → 기계적으로 푸는 방법인 가우스 소거(2.3) → “벡터란 무엇인가"를 일반화한 벡터공간(2.4) → 중복 없는 벡터 묶음인 일차독립(2.5) → 공간을 만드는 최소 묶음인 기저와 랭크(2.6) → 공간 사이의 함수인 선형사상(2.7) → 원점을 벗어난 평행이동 공간인 아핀공간(2.8)

중요도는 “뒤쪽 장에서 다시 쓰이는가, 교재가 정리·예제로 강조하는가"로만 매겼다. 시험 출제 비중 정보는 없다.

2.1 연립일차방정식 (Systems of Linear Equations, 19쪽)

왜 필요한가

머신러닝의 계산은 대부분 “미지수 여러 개, 식 여러 개"인 일차식 묶음으로 바뀐다. 예를 들어 9장 선형회귀의 최적 매개변수는 $X^\top X\theta = X^\top y$라는 연립방정식의 해다. 교재는 공장에서 자원 $b_i$를 정확히 다 쓰도록 제품 생산량 $x_j$를 정하는 예(예제 2.1)로 시작한다.

정의와 성질

일반형은

이다. $x_1,\dots,x_n$이 미지수(unknowns), $a_{ij}$가 계수, $b_i$가 우변이다. 이를 만족하는 $(x_1,\dots,x_n)$이 해(solution)다.

해의 개수는 딱 세 가지 경우뿐이다: 해가 없음, 해가 정확히 하나, 해가 무한히 많음. “해가 두 개"인 경우는 없다. 해가 두 개 $x, y$ 있으면 그 사이 직선 위의 점 $x + t(y-x)$도 전부 해가 되기 때문이다.

기하학적 의미(변수 2개): 식 하나는 평면 위의 직선이다. 두 직선이 한 점에서 만나면 해 하나, 평행하면 해 없음, 겹치면 해 무한. 변수가 3개면 식 하나가 3차원 공간의 평면이고, 해는 평면들의 교집합(점, 직선, 평면, 공집합)이다.

열(column) 관점 — 가장 중요한 시각: $A$의 열을 $a_1,\dots,a_n$이라 하면

즉 $Ax=b$를 푼다는 것은 "$b$를 $A$의 열들의 일차결합으로 만들 수 있는가, 있다면 계수가 무엇인가”를 묻는 것이다. 이 관점이 2.6의 열공간, 2.7의 상(image), 9장의 “최소제곱해 = 열공간으로의 사영"까지 이어진다.

손으로 풀어 보는 예제

(1) 해가 하나: $x_1+x_2=3$, $2x_1-x_2=0$.

• 두 식을 더하면 $3x_1=3$, 그래서 $x_1=1$.
• 첫 식에 넣으면 $x_2=2$.
• 열 관점으로 확인: $1\cdot\begin{bmatrix}1\\2\end{bmatrix}+2\cdot\begin{bmatrix}1\\-1\end{bmatrix}=\begin{bmatrix}3\\0\end{bmatrix}$. 맞다.

(2) 해가 없음: $x_1+x_2=3$, $x_1+x_2=5$. 같은 좌변이 3과 5가 될 수 없다(평행한 두 직선).

(3) 해가 무한: $x_1+x_2=3$, $2x_1+2x_2=6$. 둘째 식은 첫 식의 2배라 사실상 식이 하나다. $x_1=t$로 두면 $x_2=3-t$, 해는 $\{(t,\,3-t): t\in\mathbb R\}$.

헷갈리는 점

• 식의 개수 < 미지수 개수라고 해서 반드시 해가 무한인 것은 아니다. 식끼리 모순이면 해가 없다. 정확한 판정은 2.6의 랭크 조건 $\text{rk}(A)=\text{rk}(A|b)$로 한다.
• 행 관점(직선들의 교점)과 열 관점(열벡터의 일차결합)은 같은 문제를 다르게 본 것이다. 뒤 장은 주로 열 관점을 쓴다.

2.2 행렬 (Matrices, 22쪽)

왜 필요한가

연립방정식의 계수를 표 하나에 담으면 $Ax=b$처럼 한 줄로 쓸 수 있다. 행렬은 그 밖에도 선형사상(2.7)을 나타내는 도구다.

정의와 성질

• $A\in\mathbb R^{m\times n}$: 행 $m$개, 열 $n$개. $a_{ij}$는 $i$행 $j$열 원소. 열이 하나인 $\mathbb R^{n\times1}$을 열벡터, 행이 하나인 $\mathbb R^{1\times n}$을 행벡터라 한다. 이 책의 벡터는 기본이 열벡터다.
• 덧셈: 같은 크기끼리 원소별로 더한다.
• 곱셈: $A\in\mathbb R^{m\times n}$, $B\in\mathbb R^{n\times k}$이면 $C=AB\in\mathbb R^{m\times k}$이고 $\begin{gathered} c_{ij}=\sum_{l=1}^{n}a_{il}b_{lj} \\ (A\text{의 } i\text{행과 } B\text{의 } j\text{열의 내적}). \end{gathered}$ 크기 규칙: $(m\times \underline{n})(\underline{n}\times k)=(m\times k)$. 안쪽 숫자가 같아야 곱할 수 있다.
• 곱셈은 결합법칙 $(AB)C=A(BC)$, 분배법칙 $(A+B)C=AC+BC$가 성립하지만 교환법칙은 일반적으로 성립하지 않는다 ($AB\ne BA$).
• 원소별 곱(아다마르 곱, Hadamard product)은 행렬곱이 아니다. 교재는 이를 구분해서 언급한다.
• 항등행렬(identity) $I_n$: 대각선이 1, 나머지가 0. $AI=IA=A$.
• 역행렬(inverse): 정사각행렬 $A$에 대해 $AB=I=BA$인 $B$가 있으면 $B=A^{-1}$. 있으면 유일하다. 역행렬이 있으면 정칙(regular, invertible, nonsingular), 없으면 특이(singular)라 한다.
• 2×2 역행렬 공식: $A=\begin{bmatrix}a&b\\c&d\end{bmatrix}\Rightarrow A^{-1}=\frac{1}{ad-bc}\begin{bmatrix}d&-b\\-c&a\end{bmatrix}\quad(ad-bc\ne0).$ $ad-bc$는 4장의 행렬식(determinant)이다. 0이면 역행렬이 없다.
• 전치(transpose): $(A^\top)_{ij}=a_{ji}$. 행과 열을 바꾼다. 성질: $(A^\top)^\top=A,\quad (A+B)^\top=A^\top+B^\top,\quad (AB)^\top=B^\top A^\top,\quad (A^{-1})^\top=(A^\top)^{-1}.$ 역행렬도 순서가 뒤집힌다: $(AB)^{-1}=B^{-1}A^{-1}$.
• 대칭행렬(symmetric): $A=A^\top$. 대칭행렬끼리 더하면 대칭이지만, 곱하면 일반적으로 대칭이 아니다. ($A^\top A$는 항상 대칭이다. 이건 3·4·9장에서 계속 나온다.)

손으로 풀어 보는 예제

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix}$, $B=\begin{bmatrix}0&1\\1&0\end{bmatrix}$.

• $AB$: 1행·1열 $=1\cdot0+2\cdot1=2$, 1행·2열 $=1\cdot1+2\cdot0=1$, 2행·1열 $=3\cdot0+4\cdot1=4$, 2행·2열 $=3\cdot1+4\cdot0=3$. 그래서 $AB=\begin{bmatrix}2&1\\4&3\end{bmatrix}$ (열이 바뀜).
• $BA=\begin{bmatrix}3&4\\1&2\end{bmatrix}$ (행이 바뀜). $AB\ne BA$.
• $A^{-1}$: $ad-bc=4-6=-2$이므로 $A^{-1}=-\frac12\begin{bmatrix}4&-2\\-3&1\end{bmatrix}=\begin{bmatrix}-2&1\\1.5&-0.5\end{bmatrix}$. 확인: $AA^{-1}$의 1행·1열 $=1\cdot(-2)+2\cdot1.5=1$, 1행·2열 $=1\cdot1+2\cdot(-0.5)=0$. 나머지도 같은 식으로 $I$가 나온다.

헷갈리는 점

• $(AB)^\top = A^\top B^\top$이라고 쓰는 실수. 크기를 따져 보면 바로 틀린 걸 안다: $A$가 $2\times3$, $B$가 $3\times4$면 $A^\top B^\top$은 $(3\times2)(4\times3)$이라 곱할 수조차 없다.
• 역행렬은 정사각행렬에만 정의된다. 직사각행렬에는 2.3.4의 유사역행렬(pseudo-inverse)을 쓴다.

2.3 연립방정식 풀기 (Solving Systems of Linear Equations, 27쪽)

2.3.1 특수해와 일반해 (Particular and General Solution)

핵심 아이디어: $Ax=b$의 해를 하나만 찾으면(특수해 $x_p$), 나머지 해는 모두 “$Ax=0$의 해를 더한 것"이다.

왜 그런가:

1. $Ax_h=0$이면 $A(x_p+x_h)=Ax_p+Ax_h=b+0=b$. 그래서 $x_p+x_h$도 해다.
2. 반대로 $y$가 아무 해라면 $A(y-x_p)=b-b=0$. 그래서 $y-x_p$는 $Ax=0$의 해이고, $y=x_p+(y-x_p)$로 쓸 수 있다.

교재가 정리한 3단계:

1. $Ax=b$의 특수해(particular/special solution)를 하나 찾는다.
2. $Ax=0$의 해(동차해)를 모두 찾는다.
3. 둘을 합쳐 일반해(general solution)를 쓴다.

특수해도 일반해의 표현도 유일하지 않다(다른 특수해를 골라도 같은 집합을 나타낸다).

2.3.2 기본 행 연산 (Elementary Transformations)

해 집합을 바꾸지 않으면서 식을 단순하게 만드는 세 가지 연산:

1. 두 행(식)을 바꾼다.
2. 한 행에 0이 아닌 수를 곱한다.
3. 한 행에 다른 행(의 배수)을 더한다.

계산은 첨가행렬(augmented matrix) $[A\,|\,b]$ 위에서 한다.

행 사다리꼴(REF, row-echelon form):

• 0으로만 된 행은 맨 아래에 있다.
• 0이 아닌 행에서 처음 나오는 0 아닌 수(피벗, pivot)는 위 행의 피벗보다 오른쪽에 있다(계단 모양).

피벗이 있는 열에 해당하는 변수를 기본변수(basic variable), 없는 열의 변수를 자유변수(free variable)라 한다.

기약 행 사다리꼴(RREF, reduced row-echelon form): REF이면서 ① 모든 피벗이 1이고 ② 피벗이 있는 열에서 피벗 말고는 모두 0이다. RREF에서는 해를 바로 읽을 수 있다.

손으로 풀어 보는 예제 (가우스 소거 → 일반해)

1단계: 첨가행렬

2단계: 2행 − 2×1행

이것이 REF다. 피벗은 1열과 3열. 그래서 $x_1,x_3$이 기본변수, $x_2,x_4$가 자유변수다.

3단계: 1행 − 2행 (3열의 피벗 위를 0으로)

4단계: 특수해. 자유변수를 0으로 둔다($x_2=x_4=0$). 그러면 $x_1=3$, $x_3=1$. 특수해 $x_p=[3,0,1,0]^\top$.

5단계: $Ax=0$의 해. 우변을 0으로 보고 자유변수를 하나씩 1로 둔다.

• $x_2=1,x_4=0$: 1행에서 $x_1+2=0\Rightarrow x_1=-2$, 2행에서 $x_3=0$. → $[-2,1,0,0]^\top$
• $x_2=0,x_4=1$: 1행에서 $x_1+2=0\Rightarrow x_1=-2$, 2행에서 $x_3-1=0\Rightarrow x_3=1$. → $[-2,0,1,1]^\top$

6단계: 일반해

검산: $[-2,0,1,1]^\top$을 원래 식에 넣으면 1식 $-2+0+1+1=0$, 2식 $-4+0+3+1=0$. 맞다.

해가 없는 경우 판별: 소거 끝에 $[0\ 0\ \cdots\ 0\,|\,c]$ ($c\ne0$) 같은 행이 나오면 “$0=c$“라는 모순이라 해가 없다. 교재 예제 2.6은 우변에 매개변수 $a$가 있는데, 소거하면 마지막 행이 이런 꼴이 되어 $a=-1$일 때만 해가 있다.

2.3.3 Minus-1 트릭 (교재 예제 2.8)

$Ax=0$의 해를 빠르게 읽는 요령이다. RREF의 각 행을 피벗이 대각선에 오도록 배치하고, 피벗이 없는 자리(빈 대각선)에 $-1$이 대각에 있는 행 $[0\cdots0\ {-1}\ 0\cdots0]$을 끼워 넣어 $n\times n$ 행렬을 만든다. 그러면 대각 원소가 $-1$인 열들이 바로 $Ax=0$의 해(영공간의 기저)다.

위 예제에서 RREF $\begin{bmatrix}1&2&0&2\\0&0&1&-1\end{bmatrix}$의 피벗은 1, 3열이다. 2, 4번째 대각 자리가 비어 있으니 $-1$ 행을 끼운다:

$-1$이 대각에 있는 2열 $[2,-1,0,0]^\top$과 4열 $[2,0,-1,-1]^\top$이 영공간의 기저다. 5단계에서 구한 벡터에 $-1$을 곱한 것과 같다.

역행렬 구하기 (교재 예제 2.9의 방법)

$[A\,|\,I]$를 행 연산으로 $[I\,|\,A^{-1}]$로 만든다. 같은 행 연산 묶음이 $A$를 $I$로 바꾼다면, 그 연산 묶음은 $A^{-1}$을 곱하는 것과 같기 때문이다.

$A=\begin{bmatrix}2&1\\5&3\end{bmatrix}$:

그래서 $A^{-1}=\begin{bmatrix}3&-1\\-5&2\end{bmatrix}$. 2×2 공식($ad-bc=1$)으로도 같은 답이 나온다.

2.3.4 연립방정식을 푸는 알고리즘

• $A$가 정사각이고 역행렬이 있으면 $x=A^{-1}b$.
• $A$가 정사각이 아니거나 해가 정확히 없을 때 최소제곱 근사해를 쓴다. $A$의 열이 일차독립이면 $Ax=b\ \Rightarrow\ A^\top Ax=A^\top b\ \Rightarrow\ x=(A^\top A)^{-1}A^\top b .$ $(A^\top A)^{-1}A^\top$를 무어-펜로즈 유사역행렬(Moore–Penrose pseudo-inverse)이라 한다. 9장 선형회귀의 정규방정식과 같은 식이다. 교재는 수치적으로 불안정하고 계산량이 많아 실제로는 권하지 않는다고 덧붙인다.
• 가우스 소거는 기본 방법이지만 계산량이 변수 수의 세제곱 정도로 늘어 큰 문제에는 비싸다. 그래서 실제로는 반복법(Richardson, Jacobi, Gauss–Seidel, 크릴로프 부분공간 방법 등)을 쓴다. 교재도 이름 정도만 소개한다.

헷갈리는 점

• 행 연산은 해를 바꾸지 않지만 열 연산은 바꾼다. 가우스 소거는 행에만 한다.
• 일반해에서 영공간 쪽 벡터의 개수 = 자유변수의 수 = $n-\text{rk}(A)$ (2.6, 2.7에서 다시 나온다).
• RREF는 유일하지만 일반해의 “표현"은 유일하지 않다(특수해나 영공간 기저를 다르게 고를 수 있다).

2.4 벡터공간 (Vector Spaces, 35쪽)

왜 필요한가

“벡터"를 화살표로만 생각하면 함수, 행렬, 다항식 같은 대상에 같은 도구를 쓸 수 없다. 교재는 “더하고 스칼라배할 수 있고, 그래도 같은 집합 안에 머무는 것"을 벡터로 일반화한다. 이를 위해 먼저 군(group)을 정의한다.

2.4.1 군 (Groups)

집합 $\mathcal G$와 연산 $\otimes$에 대해 $(\mathcal G,\otimes)$가 군이려면:

1. 닫힘(closure): $x,y\in\mathcal G\Rightarrow x\otimes y\in\mathcal G$
2. 결합법칙: $(x\otimes y)\otimes z=x\otimes(y\otimes z)$
3. 항등원(neutral element): 모든 $x$에 대해 $x\otimes e=e\otimes x=x$인 $e$가 있다
4. 역원(inverse): 모든 $x$에 대해 $x\otimes y=y\otimes x=e$인 $y$가 있다

여기에 교환법칙 $x\otimes y=y\otimes x$까지 성립하면 아벨군(Abelian group)이다.

예:

• $(\mathbb Z,+)$: 아벨군(항등원 0, 역원 $-x$).
• $(\mathbb N_0,+)$: 군이 아니다. 3의 역원 $-3$이 $\mathbb N_0$에 없다.
• $(\mathbb Z,\cdot)$: 군이 아니다. 2의 역원 $\tfrac12$가 정수가 아니다.
• $(\mathbb R\setminus\{0\},\cdot)$: 아벨군.
• $(\mathbb R^{n\times n},\cdot)$: 군이 아니다. 역행렬이 없는 행렬이 있다.
• 일반선형군 $GL(n,\mathbb R)$ (역행렬이 있는 $n\times n$ 행렬 전체, 행렬곱): 군이지만 아벨군은 아니다(행렬곱은 교환되지 않음).

교재 연습문제 2.1 풀이 (자주 쓰이는 요령): $a\star b=ab+a+b$ on $\mathbb R\setminus\{-1\}$.

• 핵심 관찰: $a\star b=(a+1)(b+1)-1$. 즉 “1을 더해서 곱하고 1을 뺀다”.
• 닫힘: $a,b\ne-1$이면 $(a+1)(b+1)\ne0$이라 $a\star b\ne-1$.
• 결합·교환: 곱셈이 결합·교환되므로 성립.
• 항등원: $0$ ($a\star0=(a+1)\cdot1-1=a$).
• 역원: $(a+1)(b+1)=1\Rightarrow b=\frac{1}{a+1}-1=-\frac{a}{a+1}$ ($a\ne-1$이므로 정의됨, 그리고 $b\ne-1$).
• (b) $3\star x\star x=4(x+1)^2-1=15\Rightarrow(x+1)^2=4\Rightarrow x=1$ 또는 $x=-3$. 둘 다 $-1$이 아니므로 답은 두 개다.

2.4.2 벡터공간 (Vector Spaces)

실수 벡터공간 $V=(\mathcal V,+,\cdot)$는 벡터끼리의 덧셈 $+$와 스칼라곱 $\cdot$을 가진 집합으로,

1. $(\mathcal V,+)$가 아벨군이고 (항등원 = 영벡터 $0$),
2. 분배법칙: $\lambda(x+y)=\lambda x+\lambda y$, $(\lambda+\psi)x=\lambda x+\psi x$,
3. 스칼라곱의 결합법칙: $\lambda(\psi x)=(\lambda\psi)x$,
4. 스칼라곱의 항등원: $1\cdot x=x$ 를 만족한다. 원소를 벡터, 실수를 스칼라라 부른다.

예: $\mathbb R^n$(성분별 덧셈·스칼라곱), $\mathbb R^{m\times n}$(행렬도 벡터다), 복소수 $\mathbb C$. “벡터 × 벡터” 곱은 벡터공간의 정의에 없다. 내적은 3장에서 따로 붙인다.

2.4.3 부분공간 (Vector Subspaces)

$U\subseteq V$가 같은 연산으로 다시 벡터공간이면 부분공간이다. 판정은 세 가지만 확인하면 된다:

1. $U\ne\emptyset$, 특히 $0\in U$
2. 스칼라곱에 닫힘: $x\in U\Rightarrow\lambda x\in U$
3. 덧셈에 닫힘: $x,y\in U\Rightarrow x+y\in U$

예:

• $\mathbb R^2$에서 원점을 지나는 직선 $\{(t,2t)\}$: 부분공간.
• 원점을 지나지 않는 직선 $\{(t,2t+1)\}$: 아님($0$이 없다). → 2.8의 아핀 부분공간.
• 제1사분면 $\{x_1\ge0,x_2\ge0\}$: 아님. $-1$을 곱하면 밖으로 나간다.
• 두 직선의 합집합 $\{x_1=0\}\cup\{x_2=0\}$: 아님. $(1,0)+(0,1)=(1,1)$이 밖에 있다.
• $Ax=0$의 해집합은 항상 부분공간이다($A0=0$, $A(x+y)=0$, $A(\lambda x)=0$).
• $Ax=b$ ($b\ne0$)의 해집합은 부분공간이 아니다($A0=0\ne b$).

교재 연습문제 2.9: (a) $\{(\lambda,\lambda+\mu^3,\lambda-\mu^3)\}$은 $\mu^3$이 모든 실수를 덮으므로 $\nu=\mu^3$로 바꿔 쓰면 두 벡터의 생성(span)이 되어 부분공간. (b) $\{(\lambda^2,-\lambda^2,0)\}$은 첫 성분이 0 이상이라 $-1$배에 닫혀 있지 않아 아님. (c) 평면 $\xi_1-2\xi_2+3\xi_3=\gamma$는 $\gamma=0$일 때만 부분공간. (d) $\xi_2\in\mathbb Z$는 $\tfrac12$배에 닫혀 있지 않아 아님.

헷갈리는 점

• “$0$이 들어 있는가"를 가장 먼저 본다. 이것만으로 대부분 걸러진다.
• 부분공간끼리의 교집합은 부분공간이지만 합집합은 일반적으로 아니다.

2.5 일차독립 (Linear Independence, 40쪽)

왜 필요한가

벡터 묶음에 “쓸데없는(남는) 벡터"가 있는지 판단하는 개념이다. 남는 벡터가 없는 묶음이 기저(2.6)가 되고, 독립인 열의 수가 랭크다.

정의와 성질

• 일차결합(linear combination): $v=\lambda_1x_1+\cdots+\lambda_kx_k$.
• 일차독립: $\lambda_1x_1+\cdots+\lambda_kx_k=0$을 만족하는 계수가 모두 0인 경우뿐이면 일차독립. 0이 아닌 계수로 0을 만들 수 있으면 일차종속(linearly dependent).
• 직관: 종속이면 적어도 한 벡터를 나머지의 일차결합으로 쓸 수 있다. 그 벡터는 새 방향을 더하지 않는다.

바로 쓰는 성질 (교재 2.5절 정리):

• 두 벡터 중 하나가 다른 것의 배수(또는 같음)이면 종속.
• 묶음에 $0$이 있으면 종속.
• 어떤 벡터가 다른 벡터들의 일차결합이면 종속.
• $\mathbb R^n$에서 벡터가 $n$개보다 많으면 항상 종속.

실전 판정법: 벡터들을 열로 세워 행렬을 만들고 가우스 소거로 REF를 만든다. 모든 열이 피벗 열이면 독립이고, 피벗이 없는 열이 하나라도 있으면 종속이다. 이때 피벗이 없는 열은 왼쪽 피벗 열들의 일차결합으로 쓸 수 있다.

교재 예제 2.15의 요점: 독립인 벡터 $b_1,\dots,b_k$로 $x_j=\sum_i\lambda_{ij}b_i$를 만들면, $x_1,\dots,x_m$이 독립인지는 계수벡터 $\lambda_1,\dots,\lambda_m$이 독립인지와 같다. 즉 독립인 기저 위에서는 “좌표벡터"만 보고 판정해도 된다.

손으로 풀어 보는 예제

$v_1=[1,2,3]^\top$, $v_2=[0,1,1]^\top$, $v_3=[1,3,4]^\top$.

피벗은 1, 2열뿐이라 3열에는 피벗이 없다. 그래서 종속이고, 실제로 $v_3=v_1+v_2$다(REF의 3열 $[1,1,0]^\top$이 “1열 1개 + 2열 1개"를 뜻한다).

헷갈리는 점

• 행으로 세워 소거해도 랭크는 같지만, “어떤 원래 벡터가 남는가"를 읽으려면 열로 세워야 한다.
• 일차독립은 묶음 전체의 성질이다. 두 개씩 짝지어 배수가 아니라고 해서 셋이 독립인 것은 아니다(위 예가 그렇다).

2.6 기저와 랭크 (Basis and Rank, 44쪽)

2.6.1 생성집합과 기저

• 생성(span): $\text{span}[x_1,\dots,x_k]$ = 이들의 모든 일차결합의 집합. 항상 부분공간이다.
• 생성집합(generating set): $V$의 모든 벡터를 일차결합으로 만들 수 있는 묶음.
• 기저(basis): 일차독립인 생성집합. 다음 세 가지가 서로 같은 말이다(교재 정리):
  1. $B$는 기저다.
  2. $B$는 최소 생성집합이다(하나라도 빼면 더 이상 생성하지 못한다).
  3. $B$는 최대 일차독립 집합이다(무엇을 더 넣어도 종속이 된다).
• 기저가 정해지면 각 벡터를 기저의 일차결합으로 쓰는 방법은 유일하다(그 계수가 2.7의 좌표).
• 차원(dimension): 기저 벡터의 개수. 기저는 여러 가지지만 개수는 같다. $\mathbb R^n$의 표준기저 $e_1,\dots,e_n$.
• 주의: 차원은 “성분 개수"가 아니다. $\mathbb R^3$ 안의 원점을 지나는 평면 $\text{span}[[1,0,0]^\top,[0,1,0]^\top]$은 2차원이다.

기저 찾는 법(교재 예제 2.17): 생성 벡터들을 열로 세워 REF를 만든다. 피벗 열에 해당하는 원래 벡터들이 기저다(REF의 열이 아니라 원래 벡터를 고른다).

2.6.2 랭크 (Rank)

정의: $A$의 일차독립인 열의 최대 개수. 이는 일차독립인 행의 최대 개수와 같다. $\text{rk}(A)$로 쓴다.

교재가 정리한 성질 (암기 대상):

1. $\text{rk}(A)=\text{rk}(A^\top)$ (열 랭크 = 행 랭크).
2. $A$의 열이 생성하는 부분공간 $U\subseteq\mathbb R^m$의 차원은 $\text{rk}(A)$다. 기저는 가우스 소거로 찾은 피벗 열이다(뒤에서 이를 상(image) 또는 열공간이라 부른다).
3. $A$의 행이 생성하는 $W\subseteq\mathbb R^n$의 차원도 $\text{rk}(A)$. 기저는 $A^\top$에 소거를 해서 찾는다.
4. $A\in\mathbb R^{n\times n}$은 $\text{rk}(A)=n$일 때, 그리고 그때만 역행렬이 있다.
5. $Ax=b$는 $\text{rk}(A)=\text{rk}(A|b)$일 때, 그리고 그때만 해가 있다($b$가 열들의 일차결합이라 열을 하나 더 붙여도 랭크가 안 늘어난다는 뜻).
6. $Ax=0$의 해 공간(뒤에서 핵 kernel, 영공간 null space)의 차원은 $n-\text{rk}(A)$.
7. 완전 랭크(full rank): $\text{rk}(A)=\min(m,n)$. 아니면 랭크 부족(rank deficient).

손으로 풀어 보는 예제

$A=\begin{bmatrix}1&2&3\\2&4&6\\1&0&1\end{bmatrix}$의 랭크.

• 2행은 1행의 2배다. $R_2-2R_1$ → $[0,0,0]$.
• $R_3-R_1=[0,-2,-2]$.
• 행을 정리하면 $\begin{bmatrix}1&2&3\\0&-2&-2\\0&0&0\end{bmatrix}$, 피벗 2개 → $\text{rk}(A)=2$.
• 그래서 역행렬이 없고, $Ax=0$의 해 공간은 $3-2=1$차원이다.

헷갈리는 점

• “랭크 = 0이 아닌 행의 수"는 사다리꼴로 만든 뒤에 센다. 원래 행렬의 0 아닌 행을 세면 안 된다.
• 4장에서 랭크는 “0이 아닌 고유값의 수(대각화 가능할 때)”, “0이 아닌 특이값의 수"로 다시 등장한다. 특히 특이값 기준은 모든 행렬에 성립한다.

2.7 선형사상 (Linear Mappings, 48쪽)

왜 필요한가

행렬은 결국 “벡터를 벡터로 보내는 함수"를 숫자로 적은 것이다. 같은 함수도 어떤 기저(좌표축)로 보느냐에 따라 행렬이 달라진다. 4장의 대각화 $A=PDP^{-1}$와 10장 PCA는 “함수를 가장 단순하게 보이게 하는 기저를 고르는 일"이다.

정의와 성질

• 선형사상(linear mapping, 선형변환, 벡터공간 준동형): $\Phi:V\to W$가 모든 $x,y$, 스칼라 $\lambda,\psi$에 대해 $\Phi(\lambda x+\psi y)=\lambda\Phi(x)+\psi\Phi(y).$ 결과적으로 $\Phi(0)=0$이다. 그래서 $x\mapsto x+1$처럼 원점을 옮기는 함수는 선형이 아니다(2.8의 아핀사상).
• 단사(injective): $\Phi(x)=\Phi(y)\Rightarrow x=y$. 전사(surjective): $\Phi(V)=W$. 전단사(bijective): 둘 다.
• 특별한 이름: 동형사상(isomorphism, 선형+전단사), 자기사상(endomorphism, $V\to V$ 선형), 자기동형(automorphism, $V\to V$ 선형+전단사), 항등사상 $\text{id}_V$.
• 정리 2.17: 유한차원 벡터공간 $V,W$가 동형 $\iff\dim V=\dim W$. 그래서 $n$차원 공간은 모두 $\mathbb R^n$처럼 다룰 수 있고, $\mathbb R^{m\times n}$과 $\mathbb R^{mn}$도 같은 공간으로 볼 수 있다.

2.7.1 선형사상의 행렬 표현

좌표(coordinates): 순서 있는 기저 $B=(b_1,\dots,b_n)$에서 $x=\alpha_1b_1+\cdots+\alpha_nb_n$이면 $\alpha=[\alpha_1,\dots,\alpha_n]^\top$이 $x$의 $B$에 대한 좌표벡터다. 같은 벡터도 기저가 바뀌면 좌표가 바뀐다.

예: $x=[3,1]^\top$을 기저 $B=([1,1]^\top,[1,-1]^\top)$로 쓰면 $\alpha_1+\alpha_2=3$, $\alpha_1-\alpha_2=1$에서 $\alpha=[2,1]^\top$. 표준기저 좌표는 $[3,1]^\top$이다.

변환행렬(transformation matrix): $V$의 기저 $B=(b_1,\dots,b_n)$, $W$의 기저 $C=(c_1,\dots,c_m)$에 대해

이면 $A_\Phi(i,j)=\alpha_{ij}$. 즉 $A_\Phi$의 $j$번째 열 = $\Phi(b_j)$를 $C$로 쓴 좌표다. 그러면 $x$의 $B$-좌표 $\hat x$와 $\Phi(x)$의 $C$-좌표 $\hat y$ 사이에 $\hat y=A_\Phi\hat x$가 성립한다.

2.7.2 기저 변환 (Basis Change) — 정리 2.20

$V$의 기저를 $B\to\tilde B$로, $W$의 기저를 $C\to\tilde C$로 바꾸면

• $S\in\mathbb R^{n\times n}$: $\tilde B$-좌표를 $B$-좌표로 바꾸는 행렬. $S$의 $j$번째 열 = $\tilde b_j$를 $B$로 쓴 좌표. ($B$가 표준기저면 $S=[\tilde b_1,\dots,\tilde b_n]$ 그대로.)
• $T\in\mathbb R^{m\times m}$: $\tilde C$-좌표를 $C$-좌표로 바꾸는 행렬.

읽는 법(오른쪽부터): 새 좌표로 들어온 입력을 ① $S$로 옛 좌표로 바꾸고, ② 옛 행렬 $A_\Phi$를 적용하고, ③ 결과(옛 출력 좌표)를 $T^{-1}$로 새 출력 좌표로 바꾼다.

용어: $\tilde A=T^{-1}AS$ 꼴로 쓸 수 있으면 $A$와 $\tilde A$는 동치(equivalent), 같은 공간 안에서 $\tilde A=S^{-1}AS$ 꼴이면 닮음(similar)이라 한다. 닮은 행렬은 같은 선형사상을 다른 기저로 본 것이다. 4장의 대각화는 “$S^{-1}AS$가 대각행렬이 되는 $S$를 찾는 일"이다.

손 예제: $\Phi(x)=Ax$, $A=\begin{bmatrix}2&1\\0&1\end{bmatrix}$ (표준기저). 새 기저 $\tilde B=([1,1]^\top,[1,-1]^\top)$를 입력과 출력 모두에 쓰면 $S=T=\begin{bmatrix}1&1\\1&-1\end{bmatrix}$.

• $AS=\begin{bmatrix}2+1&2-1\\0+1&0-1\end{bmatrix}=\begin{bmatrix}3&1\\1&-1\end{bmatrix}$
• $S^{-1}=\frac{1}{-2}\begin{bmatrix}-1&-1\\-1&1\end{bmatrix}=\begin{bmatrix}\tfrac12&\tfrac12\\\tfrac12&-\tfrac12\end{bmatrix}$
• $\tilde A=S^{-1}AS=\begin{bmatrix}\tfrac12(3)+\tfrac12(1)&\tfrac12(1)+\tfrac12(-1)\\\tfrac12(3)-\tfrac12(1)&\tfrac12(1)-\tfrac12(-1)\end{bmatrix}=\begin{bmatrix}2&0\\1&1\end{bmatrix}$

정의로 다시 확인: $\Phi(\tilde b_1)=A[1,1]^\top=[3,1]^\top=2\tilde b_1+1\tilde b_2$이므로 $\tilde A$의 1열은 $[2,1]^\top$. $\Phi(\tilde b_2)=A[1,-1]^\top=[1,-1]^\top=0\tilde b_1+1\tilde b_2$이므로 2열은 $[0,1]^\top$. 일치한다.

2.7.3 상과 핵 (Image and Kernel)

• 핵(kernel, 영공간 null space): $\ker\Phi=\{v\in V:\Phi(v)=0\}$. 0으로 짓눌리는 입력들.
• 상(image, 치역 range): $\text{Im}\Phi=\{\Phi(v):v\in V\}$. 출력으로 실제로 도달할 수 있는 곳.
• 둘 다 부분공간이다(핵은 $V$의, 상은 $W$의).
• 행렬 $A\in\mathbb R^{m\times n}$, $\Phi(x)=Ax$이면
  • $\text{Im}\Phi$ = $A$의 열들의 span = 열공간(column space) ⊆ $\mathbb R^m$, 그리고 $\text{rk}(A)=\dim\text{Im}\Phi$.
  • $\ker\Phi$ = $Ax=0$의 해 전체 ⊆ $\mathbb R^n$.
• $\Phi$가 단사 $\iff\ker\Phi=\{0\}$. (증명: $\Phi(x)=\Phi(y)$이면 $\Phi(x-y)=0$이고, 핵이 $\{0\}$이면 $x=y$.)

차원 정리(Rank–Nullity Theorem, 정리 2.24):

행렬로 말하면 “자유변수 수 + 피벗 수 = 열의 수 $n$“이다. 따름정리:

• $\dim\text{Im}\Phi<\dim V$이면 핵에 0이 아닌 벡터가 있고, $A_\Phi x=0$은 해가 무한히 많다.
• $\dim V=\dim W$이면 단사 ⇔ 전사 ⇔ 전단사.

손 예제: $A=\begin{bmatrix}1&2&3\\2&4&6\end{bmatrix}$, $\Phi:\mathbb R^3\to\mathbb R^2$.

• 2행 = 2×1행 → REF $\begin{bmatrix}1&2&3\\0&0&0\end{bmatrix}$, 랭크 1.
• 상: $\text{span}[[1,2]^\top]$ (1차원 직선). 전사가 아니다($\mathbb R^2$ 전체가 아님).
• 핵: $x_1+2x_2+3x_3=0$ → 자유변수 $x_2,x_3$ → $\text{span}[[-2,1,0]^\top,[-3,0,1]^\top]$ (2차원). 단사도 아니다.
• 확인: $2+1=3=\dim\mathbb R^3$.

헷갈리는 점

• 핵은 입력 공간($\mathbb R^n$, 행렬의 “너비”)에, 상은 출력 공간($\mathbb R^m$, 행렬의 “높이”)에 있다.
• 기저변환에서 $S$와 $S^{-1}$의 방향을 헷갈리기 쉽다. “$S$의 열 = 새 기저벡터를 옛 기저로 쓴 것"을 기억하고, 위의 “정의로 다시 확인"처럼 열 하나를 직접 계산해 검산하는 습관을 들인다.

2.8 아핀공간 (Affine Spaces, 61쪽)

2.8.1 아핀 부분공간

• 정의: 벡터공간 $V$의 점 $x_0$와 부분공간 $U$에 대해 $L=x_0+U=\{x_0+u:u\in U\}.$ $x_0$를 지지점(support point), $U$를 방향공간(direction space)이라 한다. 원점을 지나지 않는 직선·평면이 대표적이다. $x_0\notin U$이면 $L$은 부분공간이 아니다($0\notin L$).
• 매개변수 표현: $U$의 기저 $b_1,\dots,b_k$로 $x=x_0+\lambda_1b_1+\cdots+\lambda_kb_k$. $k=1$이면 직선, $k=2$면 평면, $\mathbb R^n$에서 $k=n-1$이면 초평면(hyperplane).
• 연결: $Ax=b$의 해집합은 $x_p+\ker A$이므로 아핀 부분공간이다(2.3의 “일반해 = 특수해 + 영공간"을 기하학적으로 다시 말한 것). 12장 SVM의 결정 경계 $\{x:\langle w,x\rangle+b=0\}$도 초평면이다.

예: 평면 $x+y+z=1$을 매개변수로 쓰기. 지지점 $x_0=[1,0,0]^\top$, 방향은 $x+y+z=0$의 해 공간 기저 $[-1,1,0]^\top,[-1,0,1]^\top$. 그래서 $x=[1,0,0]^\top+\lambda_1[-1,1,0]^\top+\lambda_2[-1,0,1]^\top$. ($\lambda_1=1,\lambda_2=2$를 넣으면 $[-2,1,2]^\top$, 성분 합이 1이다.)

2.8.2 아핀사상

$\Phi:V\to W$가 선형이고 $a\in W$일 때

를 아핀사상(affine mapping)이라 한다. $a$를 평행이동 벡터(translation vector)라 한다. 아핀사상은 “선형사상 다음에 평행이동"이고, 아핀사상끼리의 합성도 아핀사상이다. 차원과 평행성 같은 기하 구조를 유지한다. 신경망의 한 층 $Wx+b$(활성화 전)가 아핀사상이다.

핵심 유도 모음 (백지에 쓸 수 있어야 하는 것)

1. 일반해 = 특수해 + 영공간

• $Ax_p=b$, $Ax_h=0$ → $A(x_p+x_h)=b$ (분배법칙)
• 아무 해 $y$에 대해 $A(y-x_p)=0$ → $y-x_p\in\ker A$ (두 해의 차는 동차방정식의 해)
• 그러므로 해집합 $=x_p+\ker A$.

2. $(AB)^{-1}=B^{-1}A^{-1}$