[머신러닝 입문] 02. TensorFlow로 Linear regression 구현

목차

---

• Build graph using TensorFlow operations
• Place holders

 

Build graph using TensorFlow operations

---

[그림1] Hyphothesis & Cost function

[그림2] TensorFlow Mechanics

 Linear regression을 구현하여 그래프를 만들기 위해 위의 그림을 보면서 지난 내용을 복습하도록 하자.

Hypothesis와 Cost function의 식은 [그림1]과 같고,  텐서플로우의 메커니즘은 [그림 2]와 같다.

 

# X and Y data
x_train = [1, 2, 3]
y_train = [1, 2, 3]

W = tf.Variable(tf.random_normal([1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')

# Our hyphothesis XW+b
hypothesis = x_train * W + b

Hypothesis를 Python 코드로 나타내면 위와 같다.

x_train, y_train은 우리가 학습할 데이터인 training set이고,

W와 b는 tf.Variable로 나타냈는데 기존의 프로그래밍에서 변수와는 조금 다른 개념이다.

쉽게 생각해서 텐서플로우에서 사용하는 Variable, 즉 텐서플로우에서 자체적으로 변경시키는 값(학습을 위해서)이라고 생각하면 된다.

우리는 W와 b의 값을 모르니깐 tf.random_normal로 나타내었고 값이 하나인 1차원 배열이므로 [1](Shape)을 인자로 주었다.

 

cost = tf.reduce_mean(tf.square(hypothesis - y_train))

Cost function도 코드로 나타내면 위와 같다 tf.square은 값을 제곱해주는 함수, tf.reduce_mean는 값을 평균내주는 함수다.

# Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)

그다음 작업은 Cost를 최소화하는 것인데 코드로 나타내면 위와 같다.

저렇게 minimize 하면 텐서플로우가 W와 b를 조절하면서 Cost를 최소화시켜준다. 지금은 일단 통으로 외워두자!

 

# Launch the graph in a session.
sess = tf.Session()
# Initializes global variables in the graph
sess.run(tf.global_variables_initializer())

# Fit the line
for step in range(2001):
    sess.run(train)
    if step % 20 == 0:
        print(step, sess.run(cost), sess.run(W), sess.run(b))

다음은 세션을 만들어주고, 우리는 W와 b라는 Variable을 만들었으므로 반드시 tf.global_variables_initializer() 라는 함수를 실행시켜주어야 한다. (그래야지 Variable를 인식한다)

그리고 Cost를 최소화 시켜주기위해 우리는 train이라는 node를 만들었으므로 세션으로 train을 run 시켜야 한다.

그리고 20번에 한번씩 결괏값을 찍어보면.. 아래와 같이 나온다.

[전체 소스코드]

import tensorflow as tf

# X and Y data
x_train = [1, 2, 3]
y_train = [1, 2, 3]

W = tf.Variable(tf.random_normal([1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')

# Our hyphothesis XW+b
hypothesis = x_train * W + b

# cost/loss function
cost = tf.reduce_mean(tf.square(hypothesis - y_train))

# Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)

# Launch the graph in a session.
sess = tf.Session()
# Initializes global variables in the graph
sess.run(tf.global_variables_initializer())

# Fit the line
for step in range(2001):
    sess.run(train)
    if step % 20 == 0:
        print(step, sess.run(cost), sess.run(W), sess.run(b))

...
...
1800 6.571583e-06 [0.9970226] [0.00676825]
1820 5.9684476e-06 [0.9971626] [0.00645017]
1840 5.420529e-06 [0.9972959] [0.00614703]
1860 4.922903e-06 [0.997423] [0.00585814]
1880 4.4713174e-06 [0.9975441] [0.00558284]
1900 4.060744e-06 [0.9976595] [0.00532046]
1920 3.688065e-06 [0.9977695] [0.00507043]
1940 3.3496133e-06 [0.9978743] [0.00483215]
1960 3.0423025e-06 [0.9979742] [0.00460506]
1980 2.7630122e-06 [0.9980694] [0.00438865]
2000 2.5094093e-06 [0.9981602] [0.0041824]

결과를 보면 W가 1, b가 0으로 가까워지는 형태를 볼 수 있다.

 

Place holders

---

위에서는 우리가 training set를 (x_train, y_train) 각각 고정해서 학습시켰지만, 우리가 Place holder를 이용해서 임의로 값을 정해 줄 수 있다.

# X and Y data
X = tf.placeholder(tf.float32, shape=[None])
Y = tf.placeholder(tf.float32, shape=[None])

여기서 shape=[None]은 1차원 배열이고 값은 아무 값이나 들어올 수 있음을 의미한다.

# Fit the line
for step in range(2001):
    cost_val, W_val, b_val, _ = sess.run([cost, W, b, train],
                                         feed_dict={X: [1,2,3,4,5],
                                                    Y: [2.1,3.1,4.1,5.1,6.1]})
    if step % 20 == 0:
        print(step, cost_val, W_val, b_val)

약간 복잡해보이지만, 세션을 run 시킬 때 일일이 여러 번 run 시키는 게 아니라 위와 같이 한번에 list형태로 전달하여 run 시킬 수도 있다.

우리가 Placeholders를 사용했으므로 feed_dict를 통해 X와 Y의 값을 인자로 넘겨주면 된다.

[전체 소스코드]

import tensorflow as tf

# X and Y data
X = tf.placeholder(tf.float32, shape=[None])
Y = tf.placeholder(tf.float32, shape=[None])

W = tf.Variable(tf.random_normal([1]), name='weight')
b = tf.Variable(tf.random_normal([1]), name='bias')

# Our hyphothesis XW+b
hypothesis = X * W + b

# cost/loss function
cost = tf.reduce_mean(tf.square(hypothesis - Y))

# Minimize
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01)
train = optimizer.minimize(cost)

# Launch the graph in a session.
sess = tf.Session()
# Initializes global variables in the graph
sess.run(tf.global_variables_initializer())

# Fit the line
for step in range(2001):
    cost_val, W_val, b_val, _ = sess.run([cost, W, b, train],
                                         feed_dict={X: [1,2,3,4,5],
                                                    Y: [2.1,3.1,4.1,5.1,6.1]})
    if step % 20 == 0:
        print(step, cost_val, W_val, b_val)

...
...
1620 1.1853394e-05 [1.0022277] [1.0919573] None
1640 1.0352453e-05 [1.0020819] [1.092484] None
1660 9.040323e-06 [1.0019455] [1.0929762] None
1680 7.894941e-06 [1.0018181] [1.0934364] None
1700 6.8945096e-06 [1.001699] [1.0938662] None
1720 6.0213283e-06 [1.0015877] [1.0942678] None
1740 5.257885e-06 [1.0014838] [1.0946432] None
1760 4.592922e-06 [1.0013866] [1.0949937] None
1780 4.010986e-06 [1.0012959] [1.0953215] None
1800 3.5028606e-06 [1.0012109] [1.0956279] None
1820 3.0593212e-06 [1.0011318] [1.0959142] None
1840 2.6715702e-06 [1.0010576] [1.0961818] None
1860 2.3329264e-06 [1.0009884] [1.0964319] None
1880 2.0374566e-06 [1.0009236] [1.0966655] None
1900 1.7793939e-06 [1.0008631] [1.0968839] None
1920 1.5542213e-06 [1.0008067] [1.0970877] None
1940 1.3571125e-06 [1.0007539] [1.0972784] None
1960 1.1851548e-06 [1.0007045] [1.0974566] None
1980 1.0354879e-06 [1.0006584] [1.0976231] None
2000 9.042254e-07 [1.0006152] [1.0977786] None

 

참고자료

---

https://www.youtube.com/watch?v=mQGwjrStQgg
Sung Kim- ML lab 02 TensorFlow로 간단한 linear regression을 구현