[머신러닝 입문] 03. Linear Regression 의 cost 최소화의 TensorFlow 구현

 

목차

---

• Cost function 그래프
• Gradient descent algorithm 적용
• Optimizer 적용

 

Cost function 그래프

---

[그림 1] Simplified hypothesis

 이전 포스트에서 우리는 Cost function의 미분을 간단하게 하기 위해서 위와 같은 축약 식을 사용하였다.

2019/08/07 - [Development/Machine Learning] - [머신러닝 입문] 03. Linear Regression의 cost 최소화 알고리즘의 원리 설명

[머신러닝 입문] 03. Linear Regression의 cost 최소화 알고리즘의 원리 설명

 

 파이썬을 통해서 직접 Cost function 식을 표현하고 그래프로 그려 볼 것인데, 그래프로 그리기 위해선 mtplotlib이라는 라이브러리 설치가 필요하다.

 

matplotlib 설치

python -m pip install -U pip
python -m pip install -U matplotlib

 

 파이썬 코드는 다음과 같다.

import tensorflow as tf
import matplotlib.pyplot as plt
X = [1, 2, 3]
Y = [1, 2, 3]
 
W = tf.placeholder(tf.float32)
 
hypothesis = X * W
 
cost = tf.reduce_mean(tf.square(hypothesis - Y))
 
sess = tf.Session()
 
sess.run(tf.global_variables_initializer())
 
W_val = []
cost_val = []
 
for i in range(-30, 50):
    feed_W = i * 0.1
    curr_cost, curr_W = sess.run([cost, W], feed_dict={W: feed_W})
    W_val.append(curr_W)
    cost_val.append(curr_cost)
 
plt.plot(W_val, cost_val)
plt.show()

 간단하게 설명하자면 [그림 1]식 그대로 Hypothesis를 만들어주고 W의 범위를 -3부터 5까지 0.1씩 나누어서

그래프로 그려 준 코드다.

 

[그림 2] cost(W) 그래프

그림을 보면 알겠지만 cost를 최소화하는 W의 값은 1이다.

 

 

 

 

Gradient descent algorithm 적용

---

 

[그림 3] Gradient descent

 Gradient descent algorithm의 식은 [그림 3]과 같고 알고리즘을 적용한다는 것은 W값을 조정해 나가며 cost의 최솟값을 찾아나간다를 의미한다.

 

learning_rate = 0.1
gradient = tf.reduce_mean((W * X - Y) * X)
descent = W - learning_rate * gradient
update = W.assign(descent)

[그림 3]의 식에서 알파 값은 learning rate를 의미하고 파이썬 코드로 나타내면 위와 같다.

텐서플로우에서는 W에 값을 할당할 때 equal 연산자(=)는 사용이 안되며 assign이라는 함수를 통해 W에 할당 가능하다.

 

Gradient descent algorithm을 적용한 전체 코드는 아래와 같다.

import tensorflow as tf
 
x_data = [1, 2, 3]
y_data = [1, 2, 3]
 
W = tf.Variable(tf.random_normal([1]), name='weight')
X = tf.placeholder(tf.float32)
Y = tf.placeholder(tf.float32)
 
hypothesis = X * W
 
cost = tf.reduce_mean(tf.square(hypothesis - Y))
 
learning_rate = 0.1
gradient = tf.reduce_mean((W * X - Y) * X)
descent = W - learning_rate * gradient
update = W.assign(descent)
 
sess = tf.Session()
 
sess.run(tf.global_variables_initializer())
for step in range(21):
    sess.run(update, feed_dict={X: x_data, Y: y_data})
    print(step, sess.run(cost, feed_dict={X: x_data, Y: y_data}), sess.run(W))

learning_rate(=알파 값)을 0.1로 주었고, 그다음부터 [그림 3]의 식을 그대로 코드로 표현하였다.

결과는 다음과 같다.

0 0.6850602 [0.61685693]
1 0.1948616 [0.79565704]
2 0.05542727 [0.8910171]
3 0.01576599 [0.94187576]
4 0.0044845473 [0.9690004]
5 0.0012756082 [0.98346686]
6 0.00036283964 [0.9911823]
7 0.000103206636 [0.99529725]
8 2.9357458e-05 [0.99749184]
9 8.350654e-06 [0.9986623]
10 2.3756713e-06 [0.99928653]
11 6.756982e-07 [0.9996195]
12 1.9224537e-07 [0.99979705]
13 5.4676246e-08 [0.99989176]
14 1.5574232e-08 [0.99994224]
15 4.4351474e-09 [0.9999692]
16 1.2629471e-09 [0.99998355]
17 3.5721945e-10 [0.99999124]
18 9.976494e-11 [0.99999535]
19 2.984753e-11 [0.9999975]
20 7.716494e-12 [0.9999987]

Gradient descent algorithm을 적용해 나갈수록 cost는 0(최솟값)에 가까워지고 W는 1에 수렴하는 것을 볼 수 있다.

 

 

 

Optimizer 적용

---

 위에서 우리는 Gradient descent algorithm을 적용하기위해 아래와 같이 미분식을 코드로 표현하였다.

learning_rate = 0.1
gradient = tf.reduce_mean((W * X - Y) * X)
descent = W - learning_rate * gradient
update = W.assign(descent)

하지만 우리가 일일히 매일 미분 식을 복잡하게 계산하고 표현하는 일은 매우 번거로운 일이다.

그렇기 때문에 텐서플로우에는 GradientDescentOptimizer라는 함수가 있는데 이 함수를 사용하면 아래와 같이 간단하게 표현이 가능하다.

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
train = optimizer.minimize(cost)

GradientDescentOptimizer를 만들어 주고 cost 함수를 optimizer의 minimize함수에 넣어주기만 하면 된다!

 

 

 이를 적용한 전체 코드는 다음과 같다.

import tensorflow as tf
 
X = [1, 2, 3]
Y = [1, 2, 3]
 
W = tf.Variable(5.0)
 
hypothesis = X * W
 
cost = tf.reduce_mean(tf.square(hypothesis - Y))
 
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
train = optimizer.minimize(cost)
 
sess = tf.Session()
 
sess.run(tf.global_variables_initializer())
 
for step in range(10):
    print(step, sess.run(W))
    sess.run(train)

결과는 아래와 같다.

0 5.0
1 1.2666664
2 1.0177778
3 1.0011852
4 1.000079
5 1.0000052
6 1.0000004
7 1.0
8 1.0
9 1.0

학습을 거듭할 수록 우리가 찾고자 하는 W값에 가까워지는 것을 볼 수 있다!!! :)

 

 

참고자료

---

https://youtu.be/Y0EF9VqRuEA
Sung Kim- ML lab 03.Linear Regression의 cost 최소화의 TensorFlow 구현