기계학습 2장 Linear Algebra Review(1)

- 본 게시물의 내용은 경희대학교 김휘용 교수님의 수업 내용을 참고했습니다.

 

Vector(벡터)

-여러 Scalar 값들을 하나로 모아놓은 것

- Column Vector : 열벡터

$$ \begin{bmatrix} x_1 \\ x_2 \\ x_3 \\ \vdots \\ x_n \end{bmatrix} $$

- Row Vector : 행벡터 

$$ [x_1, x_2, x_3, ..., x_n] $$

Inner Product(내적)

- 내적을 하기 위해서는 벡터의 차원이 같아야 한다.

- 내적의 결과는 Scalar 값이 나온다.

Outer Product(외적)

- 외적은 벡터의 차원이 달라도 상관이 없다

- 외적의 결과는 행렬이 나온다

Zero Matrix(영행렬)

- 모든 행렬의 값이 0인 행렬

 

Identity Matrix(항등행렬)

- I라고 표기하고, n x n 행렬이어야 한다

- 행렬의 대각 성분들이 모두 1이고 나머지 값들은 0인 행렬

- "단위 벡터들의 모음"으로 생각할 수 있다.

 

Diagonal Matrix(대각 행렬)

-diag(d)라고 표기, n x n 행렬이어야 한다.

 

Matrix Addition(행렬 덧셈)

- 두 Matrix A, B를 더하려면 차원이 동일해야한다.

   -> A + B = C, C_i,j = A_i,j + B_i,j

- 차원의 크기가 동일하지 않으면 덧셈을 할 수 없다.

 

Matrix-vector Multiplication : Ax

- Ax를 하게 되면 Ax의 결과는 Column Vector가 나온다

(1) A를 Row Vector로 표시

(2) A를 Column Vector로 표시 

 

-> A의 Column Vector의 Linear Combination이다.

 

 

Vector-Matrix Multiplication : xA

- xA를 하게 되면 xA의 결과는 row vector가 나온다

(1) A를 Column Vector로 표시

(2) A를 row vector로 표시

 

-> y는 A의 row vector들의 Linear Combination이다.

 

 

 

Matrix Multiplication - Diagonal Matrix

- A는 m x n 행렬, D = diag(d)인 행렬(n x n)

 

-> AD는  A의 Column vector들에 scalar 곱한 것과 같다 (Column Scalar)

 

 

 

 

 

-> DA는 A의 Row vector들에 scalar 곱한 것과 같다 (Row Scalar)

 

Transpose (전치 행렬)

- n x n 행렬에서 A^T = A를 만족

- A^T A 의 결과는 항상 Symmetric 하다

 

 

Trace

- n x n 행렬에서 Diagonal들의 합