Lec02) Linear Regression의 가정과 cost function

Linear Regression

좌측 : Data / 우측 : Regression

 

Linear Hypothesis

Linear Model이 우리의 Data에 잘 맞을 것이라는 가정을 세운다.

실세계에서 linear model이 적용 가능한 경우가 매우 많다.

 

학습 : Data에 잘 부합하는 linear equation을 찾는 과정

여러 가지 equation을 시도해 본다.

위 그래프의 각 선은 H(x) = Wx + b 로 표현된다. 선들 중 어느 선이 Data에 가장 잘 맞는지 판단할 수 있어야 한다.

즉, 최선의 W (weight)와 b (bias)의 값을 찾아 내야 한다.

 

실제 Data와 hypothesis 간의 거리 (빨간 선)을 측정하여, 최선의 hypothesis를 이전의 그래프의 선들 중에서 찾아낸다.

 

Cost Function (= Loss Function)

How fit the line to our training data를 측정하는 함수

 

\(H(x)−y\): 가장 단순한 방식. 부호가 발생한다는 단점이 있다.

\((H(x)−y)^{2}\): 가장 기본적인 방식. 부호가 없어서 편리하다.

​ 차이가 작을 때 보다 차이가 클 때 더 많은 penalty를 부여할 수 있다.

 

cost(W,b) = \(1/m \sum_{i = 1}^{m} (H(x_i)-y)^2\) (m : training data set의 data 개수)