기계학습 1장 ML Intro

본 게시물의 내용은 경희대학교 김휘용 교수님의 수업 내용을 참고했습니다.

 

1. ML Definitions

Black Box 모델

- 내부의 구조는 알 수 없지만, Input이 들어가면 Output을 내보낸다.

ML 정의

- Data로부터 내재된 패턴을 학습하는 과정

- 어떤 T(Task)를 경험 E(Training Experience)를 통해 성능 측정 척도인 P(Performance measure)를 올리는 것

 

2. ML Types

(1) Supervised Learning(지도학습)

- 특징 벡터(X)와 목표값(Y)가 모두 주어짐

- ex) Regression, Classification

(2) Unsupervised Learning(비지도학습)

- 특징 벡터(X)만 주어지고, 목표값은 주어지지 않음

- ex) Clustering, Dimensionality Reduction

(3) 준지도학습

(4) 강화학습

 

3. AI & ML

- 지식(규칙)기반으로 모델 학습 -> 데이터 중심의 접근 방식

4. Dataset

- Iris Dataset, MNIST Dataset 등등이 존재

Cf.) Sparsity of Dataset

- 데이터 셋의 수는 Feature Space 크기에 비해 매우 작다.

Cf.) Data Visualization

- 4차원 이상의 초공간은 한번에 가시화가 불가능하다

- 해결방법 : 2차원의 여러 그림을 통해 표현해보자!

 

5. ML Problem 해결 과정

Problem Definition -> Data Representation -> Model Representation -> Cost Function -> Optimization

 

(1) Problem Definition(문제 정의)

- 새로운 Data가 주어졌을 때 Data를 잘 설명하는 모델을 찾자

 

(2) Data Representation

- x : input features

- y : target variable

- (x,y) : training sample

 

(3) Model Representation

- 모델 공간 안에서 최적인 모델을 찾자

- 모델의 복잡도가 커질수록 Fit하기는 쉬우나, Train 시키기 어렵다.

 

 

(4) Cost Function(비용함수)

- 모델의 학습을 위해 Cost Function을 정의해 학습을 위한 목적을 정의.

Cf.) Cost Function을 통한 최적 파라미터 구하기

      (1) Full Search : 모든 파라미터를 구해 최적을 결정

      (2) Iterative Optimization : 이전 Iteration의 θ의 값에 Δθ를 더해서 새로운 θ값을 구한다. Cost가 최소가 되게 반복

      (3) Analytical Solution : 파라미터의 미분 값이 0이 되는 파라미터를 찾음

                               - 단점 : 파라미터의 수가 증가하면 계산이 어렵다.

 

(5) Optimization

- Initial Point에서 시작하여 Cost가 최소가 되는 파라미터를 찾는다

- Iterative Method : GD, SGD 등등

- Analytic Method : Normal Equation