Ch01) Q1. 벡터(Vector)란 무엇인가?#

처음에는 벡터를 단순히 화살표, 즉 크기와 방향을 가진 이동을 나타내는 객체 정도로 이해하고 있었다. 좌표값이 주어지면 그 방향으로 향하는 화살표를 머릿속에 그리는 것이 전부였다.

다만, 3Blue1Brown에서는 벡터를 ‘다른 벡터들의 스케일된 합’ 으로 이해하는 것이 중요하다고 설명한다.

예를 들어 2차원 벡터 $(3, 2)$는 단순히 좌표라는 숫자쌍이 아니라, x축 기본 벡터 $(1, 0)$을 세 번 스케일한 것과 y축 기본 벡터 $(0, 1)$을 두 번 스케일한 것을 더한 결과로 볼 수 있다.

$(3, 2) = 3(1, 0) + 2(0, 1)$

즉, 벡터는 단순한 좌표가 아니라 기본 방향 벡터를 얼마씩 늘리고 더한 결과다. 그리고 이 “늘리고 더한다”는 것이 바로 선형(Linear)의 기본 전제이기도 하다.

이렇게 이해하는 것이 중요한 이유는, 선형대수의 핵심 개념들이 모두 이 관점에서 출발하기 때문이다. 어떤 벡터들로 공간을 만들어낼 수 있는지(span), 벡터들이 서로 중복된 정보를 담고 있지는 않은지(선형 독립), 공간을 표현하는 최소한의 벡터 집합은 무엇인지(기저). 이 모든 것이 “벡터를 늘리고 더한다”는 관점 하나에서 이어진다.

Ch01) Q2. 두 점 사이의 관계를 벡터의 뺄셈으로 나타낼 수 있는 이유는 무엇인가?#

두 점 A와 B를 각각 원점에서의 위치 벡터 $\mathbf{a}$, $\mathbf{b}$로 나타내면, $\mathbf{b} - \mathbf{a}$는 A의 끝점에서 B의 끝점으로 향하는 벡터가 됩니다.

즉, 벡터의 뺄셈은 두 점 사이의 방향과 거리를 동시에 담고 있습니다. 이 벡터의 크기($\|\mathbf{b} - \mathbf{a}\|$)가 두 점 사이의 거리이고, 방향이 A에서 B로 가는 방향입니다.

Ch01-Q3. 유클리드(Euclidean) 거리 공식을 설명하라.#

Keyword: L2

유클리드 거리는 두 점을 직선으로 연결했을 때의 거리입니다. 피타고라스 정리를 n차원으로 일반화한 것으로, 각 차원의 차이를 제곱하여 더한 뒤 제곱근을 취합니다.

$d = \sqrt{\sum_{i=1}^{n}(a_i - b_i)^2}$

L2 거리라고도 하며, 머신러닝에서 두 벡터 간의 거리를 측정할 때 가장 일반적으로 사용됩니다.

Ch01-Q4. 내적이란 무엇인가? 유사도와 매핑의 관점에서 각각 설명하라.#

Keyword: 유사도, 매핑

유사도 관점: 내적은 두 벡터가 얼마나 같은 방향을 향하고 있는지를 나타냅니다. 두 벡터가 완전히 같은 방향이면 내적이 최대, 직교하면 0, 반대 방향이면 음수가 됩니다.

매핑 관점: 한 벡터를 다른 벡터 방향으로 투영(projection)했을 때 얼마나 겹치는지를 나타냅니다. 벡터 $\mathbf{a}$를 벡터 $\mathbf{b}$ 방향으로 투영한 길이에 $\|\mathbf{b}\|$를 곱한 값이 내적입니다.

$\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\|\|\mathbf{b}\|\cos\theta$

Ch02-Q1. 선형(Linear)란 무엇인가?#

Keyword: 덧셈, 스칼라곱

선형이란 두 가지 성질을 동시에 만족하는 것을 말합니다.

1. 덧셈 보존: $f(\mathbf{a} + \mathbf{b}) = f(\mathbf{a}) + f(\mathbf{b})$
2. 스칼라 곱 보존: $f(c\mathbf{a}) = c \cdot f(\mathbf{a})$

쉽게 말하면, 입력을 합쳐서 변환한 결과가 각각 변환한 결과를 합친 것과 같고, 입력을 스케일하면 출력도 같은 비율로 스케일된다는 뜻입니다. 이 두 조건을 중첩의 원리(superposition)라고도 합니다.

Ch02-Q2. 선형 독립과 선형 종속을 각각 설명한 뒤 연관지어서도 설명하라.#

Keyword: 영벡터, trivial solution, nontrivial solution

선형 독립은 벡터들 중 어떤 벡터도 나머지 벡터들의 선형결합으로 표현되지 않는 경우입니다.

선형 종속은 적어도 하나의 벡터가 나머지 벡터들의 선형결합으로 표현되는 경우입니다.

연관지어 보면, 선형 독립인 벡터 집합은 서로 “중복된 정보”가 없는 상태이고, 선형 종속은 적어도 하나의 벡터가 나머지로 표현 가능하여 “중복 정보”가 있는 상태입니다.

Ch02-Q3. 다음 수식의 의미를 설명하라. 이때 스칼라는 실수 공간에 포함된다.#

$c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_n\mathbf{v}_n = \mathbf{0}, \quad c_i \in \mathbb{R}$

이 수식은 선형 독립의 정의를 수식으로 나타낸 것입니다. 벡터들의 선형결합이 영벡터가 되는 조건을 묻고 있습니다.

$c_1 = c_2 = \cdots = c_n = 0$인 trivial solution만 존재하면 선형 독립, 그 외의 nontrivial solution이 존재하면 선형 종속입니다.

Ch02-Q4. 선형결합과 선형 생성에 대해 각각 설명한 뒤, 연관지어서도 설명하라.#

선형결합은 벡터들에 스칼라를 곱하고 더하는 연산입니다. $c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_n\mathbf{v}_n$ 형태로 표현됩니다.

**선형 생성(Span)**은 주어진 벡터들로 만들 수 있는 모든 선형결합의 결과물의 집합입니다.

연관지어 보면, 선형결합은 “연산 방법”이고 선형 생성은 그 연산으로 도달 가능한 모든 점들의 “집합”입니다. 즉, Span은 선형결합이라는 도구로 그릴 수 있는 공간의 전체 범위입니다.

Ch02-Q5. 기저에 대해 설명 후 왜 벡터를 스케일된 기저의 합으로 보는 것이 중요한지를 설명하라.#

기저는 벡터 공간을 완전히 표현할 수 있는 선형 독립인 벡터들의 최소 집합입니다. 두 조건을 만족해야 합니다. 첫째, 벡터들이 선형 독립이어야 하고, 둘째, 해당 공간 전체를 span해야 합니다.

벡터를 기저의 합으로 보는 것이 중요한 이유는, 어떤 벡터든 기저를 통해 **유일한 좌표(스칼라 계수)**로 표현할 수 있기 때문입니다. 이는 좌표계를 정의하는 것과 같습니다.

더 나아가, 기저를 바꾸면 같은 공간을 다른 시각으로 볼 수 있습니다. 적절한 기저를 선택하면 복잡한 계산이 단순해지는 경우가 많으며, 이것이 PCA나 고유벡터 분해 같은 기법의 핵심 아이디어입니다.