[머신러닝 입문] 02. Linear Regression의 Hypothesis와 Cost

목차

---

• Linear Regression
• Cost function

 

Linear Regression

---

우리가 예측을 하려는 최종 목표가 점수(0점에서 100점 사이)라고 할 때 이런 형태의 머신 러닝은 Supervised Learning 중에서도 Regression이라 할 수 있다.

x (hours)	y (score)
10	90
9	80
3	50
2	30

위와 같은 데이터를 통해 학습을 시키는 것을 training이라 하고,

training이 끝난 후에 Regression을 사용한다는 것은 어떤 학생이

'나는 7시간 정도 공부했는데 몇 점이나 받을 수 있을까..?'

질문을 한다고 하면 수학적으로는 x라는 값에 7을 던지고 Regression이 결과(y)를예측을 해주는 것을 말한다.

[그림1] (Linear) Hypothesis

위의 왼쪽 표와 같은 간단한 Traning Data가 있다고 가정하면 그래프는 오른쪽 그림과 같다.

우리가 이러한 Regression Model을 training 한다는 것은 하나의 가설을 세울 필요가 있다.

세상에 있는 많은 현상들이 Linear하게 설명되는 경우가 많이 있다.

(ex. 학생이 공부를 많이 할수록 성적이 올라간다, 집의 크기가 크면 클수록 가격이 올라간다,...)

우리가 Linear 하게 Hypothesis(가설)을 세운다는 것은 우리가 어떤 데이터가 있다면 우리는 Linear 한 선을 찾는다라고 볼 수 있다.

[그림2] 어떤 선이 우리의 데이터에 잘 맞는 선일까?

[그림 2]와 같이 여러 개의 선을 그을 수 있는데, 데이터에 가장 잘 맞는 선을 찾는 것이 목표라 할 수 있다.

H(x) = Wx + b

우리의 Hypothesis(가설)은 위의 1차 방정식으로 표현할 수 있다. 이것이 Linear Regression의 첫 번째 단계이다

그다음 데이터와 가장 잘 맞는 선을 찾아야 한다. 즉 W와 b를 찾는 것이 우리의 목표다.

위의 데이터에서는 W가 1, b가 0일 때 가장 잘 맞는다고 볼 수 있다. (H(x) = x)

 

Cost function

---

[그림3] 어떤 가설이 더 잘 맞는가?

실제 데이터와 우리의 가설이 나타내는 데이터의 거리를 비교하여 거리가 짧으면 짧을수록 가설이 잘 맞는다고 볼 수 있다.

우리의 선(1차 방정식)이 얼마나 데이터와 더 잘 맞는지 계산하는 것을 Cost function(=Loss function)이라 하고 다음과 같이 나타 낼 수 있다.

H(x) - y

이 식에서, 차이에서 생겨나는 부등호(음수)를 없애주기 위해 제곱을 해준다.

(H(x) - y)^2

 

좀 더, formal 하게 정리해보자면 그림 3 데이터의 Cost function은 다음과 같다고 할 수 있다.

[그림4] 그림 3의 Cost function

각 데이터 거리의 차를 제곱해서 모두 더하고 데이터의 개수만큼 나누면 Cost function이 된다.

[그림5] Cost function

일반적인 Cost function의 모습이 완성되었다. 여기서 m는 학습 데이터의 개수를 뜻한다.

[그림 6] Cost function

여기서 H(x)는 우리의 Hypothesis(가설)이고 W와 b에 따라 그 모양이 달라지기 때문에

Cost function은 cost(W, b)라고 표현할 수 있다.

 

cost를 가장 적게 하는 것은 우리가 입력한 데이터와 가장 유사한 Linear 한 선을 찾는 것이고 그것이 우리의 최종 목표다.

 

참고자료

---

https://www.youtube.com/watch?v=Hax03rCn3UI
Sung Kim- ML lec 02.Linear Regression의 Hypothesis와 cost 설명