Lec03) Linear Regression의 cost 최소화 알고리즘의 원리 설명

Hypothesis and Cost

Hypothesis : $H(x)=Wx+b$

Cost Function : $Cost(W,b)$ = $1/m\sum _{i=1}^m(H(x_i)-y{)}^2$ 

 

linear regression의 목표 : cost를 minimize 시키는 W와 b 찾기

 

Simplified Hypothesis

계산의 편의를 위해서 b = 0으로 설정한다.

 

Hypothsis : $H(x)=Wx$

Cost Function : $Cost(W,b)$ = $1/m\sum _{i=1}^m(W{x}_i-y{)}^2$ 

 

What $Cost(W)$ looks like?

해당 예제의 cost function을 컴퓨터로 그려봤더니, 아래와 같은 그래프가 나왔다.

 

cost function의 값이 최소가 되는 점, 즉 W=1을 찾아 내는 것이 regression의 목적이다.

 

Gradient Descent Algorithm 적용 방식

안개 낀 산 꼭대기에서 하산 하기 위해서는 기울기가 완만한 쪽으로 이동해야 한다.

 

1. 임의의 값에서 시작한다.

2. W와 b를 각 시행마다 조금씩 변경 하면서 Cost(W,b)를 줄여 나간다.

3. 변경 시 가능한 최대로 Cost(W,b)를 작게 하는 W, b를 선정한다.

4. local minimum 을 찾을 때 까지, 1~3의 과정을 반복한다.

 

장점 : 어디에서 시작하던 minimum을 구할 수 있다.

단점 : 대표적인 local search algorithm. 대부분의 local search algorithm이 갖는 local minimum에 빠져서 global minumum을 찾지 못하는 한계를 갖고 있다. 하지만 random restart local research algorithm을 이용하여 해결할 수 있다.

 

Formal Definition

미분을 용이하게 하기 위해서 분모에 2를 곱함

$$Cost(W,b)=1/2m\sum _{i=1}^m(W{x}_i-y_i{)}^2$$

 

미분 과정은 아래와 같다.

 

$$W:=W-\alpha \frac{\partial }{\partial W}Cost(W)$$ (α는 learning rate을 의미. 보편적으로 0.1을 사용)

$$W:=W-\alpha \frac{\partial }{\partial W}1/2m\sum _{i=1}^m(W{x}_i-y_i{)}^2$$

$$W:=W-\alpha \frac{\partial }{\partial W}1/2m\sum _{i=1}^{m}2(W{x}_i-y_i)x_i$$

$$W:=W-\alpha \frac{\partial }{\partial W}1/m\sum _{i=1}^m(W{x}_i-y_i)x_i$$

 

$$W:=W-\alpha \frac{\partial }{\partial W}1/m\sum _{i=1}^m(W{x}_i-y_i)x_i$$ 가 Gradient Descent Algorithm의 수식이다.

 

이 수식을 여러번 실행 시키면서 minimize 시키는 W를 찾는다.