[머신러닝 입문] 03. Linear Regression의 cost 최소화 알고리즘의 원리 설명

목차

---

• Minimize Cost function
• Gradient descent algorithm
• Convex function

 

Minimize Cost function

---

[그림 1] Cost function

 지난번 포스트에서 Hypothesis와 Cost function을 알아보았고, 우리는 Cost function을 최소화시키는 W와 b를 구하는 것을 과제로 삼았다.

 

[그림 2] Simplified hypothesis

 설명을 위해서, Hypothesis를 위와 같이 간단하게 만들었다. (b = 0)

또한 데이터가 아래 표와 같이 주어진다고 가정해보자.

X	Y
1	1
2	2
3	3

우리는 cost를 최소화 시키는 지점을 찾아야 한다.(=최소화시키는 W를 찾아야 함)

 

[그림 3] W에 따른 cost(W)

 

• W = 1, cost(W) = 0
• W = 0, cost(W) = 4.67
• W = 2, cost(W) = 4.67

W에 따른 cost(W)를 계산해보면 위와 같다. 이를 그래프로 그려보면

[그림 4] cost(W) 그래프

위와 같은 모양의 그래프가 나온다. 우리의 목표는 앞서 말했듯이 Cost가 최소가 되는 부분을 찾아내는 것이다.

이것을 기계적으로 찾는 알고리즘을 Gradient descent algorithm이라 한다.

 

 

 

Gradient descent algorithm

---

Gradient는 경사, descent는 내려가는 것. 즉, 경사를 따라 내려가는 알고리즘이라고 보면 된다.

또한, 머신러닝에서 굉장히 많이 cost를 최소화 시키는데 사용되는 알고리즘이다.

W의 값이 하나가 아니라 W1, W2,... 여러 개 있는 Cost function도 알고리즘을 적용 할 수 있다.

 

그렇다면 이 알고리즘은 어떻게 동작하는 것일까?

 

[그림 5] 경사도를 따라서 움직인다

 위의 그래프를 들여다보자. 동작 원리를 살펴보면.

 

1. 그래프의 아무 점에서나 시작할 수 있다.

2. 그리고 그 점에서 W를 약간 바꾸어서 Cost를 줄여나간다. (경사도가 내려가는 쪽으로 향하게 된다)

3. 이를 반복해나가서 Cost가 최소가 되는 지점을 찾는다.

 

여기서 경사도(기울기)는 미분을 통해서 구할 수 있다.

[그림 6] Cost function Formal definition

미분을 쉽게 적용하기 위해서 1/m -> 1/2m으로 바꾸었다.

(사실, 1/m이나 1/2m이나 minimize에서는 같은 의미를 지닌다.)

 

[그림 7] Cost function의 미분 절차

Cost function를 Wx로 미분하면 미분 공식이 적용되어 최종적으로 맨 아래와 같은 식이 나오게 된다.

(여기서 알파값은 learning rate라고 한다)

 

위의 식을 기계적으로 여러 번 적용시키면 Cost function을 최소화 시키는 W를 구해 낼 수 있다.

 

 

 

Convex function

---

[그림 8] Gradient descent algorithm이 잘 동작하지 않는 경우

위와 같이 Cost function을 3차원 그래프로 나타내었을 때,

Gradient descent algorithm을 적용하여 아무 점에서나 시작해 기울기를 따라 내려가 보면 최소화되는 지점이 여러 군데 생길 수 있다.

이런 경우 알고리즘이 제대로 동작하지 않는다.

 

[그림 9] Convex function

 다행히도 우리의 Hypothesis와 Cost function을 가지고 그림을 그리게 되면 위와 같은 그래프가 나오게 되는데 이러한 것을 Convex function이라 한다.

 어느점에 시작하든 간에 도착하는 점이 우리가 원하는 지점이 된다.  즉, Gradient descent algorithm가 항상 답을 찾는 것을 보장해준다.

 

 우리는 Linear Regression을 적용하기 전에, Cost function을 설계할 때 반드시 Convex function이 되는지 확인해야한다. 

 

 

 

참고자료

---

https://www.youtube.com/watch?v=kPxpJY6fRkY
Sung Kim- ML lec 03.Linear Regression의 cost 최소화 알고리즘의 원리 설명