今や情報系と言えば機械学習といったような勢いだ。
もちろん自分も機械学習については勉強しているしこれからもしていくつもりだ。
さて、機械学習と言えばtensorflowである。tensorflowはgoogleが作ったと言うだけあって完成度が高い。自分でわざわざ細かいところを実装しなくても重要な部分を少しだけ記述するだけで思った通りの学習をさせることができる。
GW、特にやることがなくtensorflowでMNISTをやってみたので書いてみる。
また、MNISTのサンプルの多くがinput_dataというものを利用しているが、これを使うと中で何をやっているのかがよく分からなくなってしまい困ってしまったので今回、input_dataを使わずに実装した。
MNISTのデータセットはhttp://yann.lecun.com/exdb/mnist/で配布されている。
トレイニング用データをtrain-imgとtrain-ansにリネーム、テスト用データをtest-imgとtest-ansにリネーム
以下のコードを実行すると学習出来る。
1個の画像の入力データを28×28の二次元データとして扱うのではなく、784個の一次元データとして扱っている。これがxのベクトルになる。
ここで0の数字の認識についてのみ考える。
0を認識するのにそれぞれの画素に重みをつけ、ここの画素が黒いとそれは0である確率が高くなるのか、低くなるのかそれとも無関係なのかでそれぞれ正の数,負の数,ゼロになるようにする。
それぞれの画素の値と重みをかけ合わせ全てを足した値がその画像らしさを表すが、0~9で平均が異なってしまうのでそれを修正するためにオフセットbを足すといったところだろうか。
# -*- coding: utf-8 -*-
#tensorflowのimport
import tensorflow as tf
import sys
import random
#file:fから1つだけ画像を読み込んで一次元のListで返す
def read_mat(f):
y = []
for _ in range(28):
x = f.read(28)
for j in range(28):
y.append(0 if ord(x[j])==0 else 127 )
return y
#file:fから1バイトの値を読み込んでその値を整数にして返す
def read_ans_one(f):
return ord(f.read(1)[0])
#file:fから1バイトの値xを読んでx番目だけが1でそれ以外は0の一次元配列を返す
def read_ans_one_arr(f):
x = read_ans_one(f)
y = [0,0,0,0,0,0,0,0,0,0]
y[x] = 1
return y
#read_matで読み込んだ画像を1つ出力する
def print_mat(y):
for i in range(28):
for j in range(28):
sys.stdout.write('*' if y[i*28+j] > 0 else ' ')
print(' ')
#read_matで読み込んだ画像の配列を全て出力する
def print_mat_arr(arr):
for x in arr:
print_mat(x)
#file:fimgからnum個の画像を読み込んで配列にして返す
def read_img(fimg,num):
xx = []
for _ in range(num):
y = read_mat(fimg)
xx.append(y)
return xx
#file:fansからnum個の正解データを読み込んで
#配列にして返す
def read_ans(fans,num):
y = []
for _ in range(num):
y.append(read_ans_one_arr(fans))
return y
#配列aの中で最大のものの要素のindexを返す
def argmax(a):
ind = 0;
m = 0;
for i in range(len(a)):
if(m < a[i]): m = a[i] ind = i return ind #argmaxの比較 def diff_it(a,b): return 0 if argmax(a) == argmax(b) else 1; #トレイニングデータの60000個の要素の中から100個を選び返却 def sample_train_data(xx,yy): r = random.sample(range(60000),100) rx = [] ry = [] for i in r: rx.append(xx[i]) ry.append(yy[i]) return rx,ry def read_test_img(test_num): #テストフェーズ fimg = open("test-img","rb") fans = open("test-ans","rb") fimg.read(16) fans.read(8) test_x = read_img(fimg,test_num) test_y = read_ans(fans,test_num) fimg.close() fans.close() return test_x,test_y def check(yy, yy_): count = 0 #テストデータでテストを行い、結果が違ったら出力する。 #間違った数をカウントする for i in range(test_num): if diff_it(yy[i],yy_[i]) > 0 :
count += 1
print("count:" + str(count) + " err rate:" + str(count/100.0))
train_num = 60000
test_num = 10000
#トレイニングデータ読み込み
#train-imgから画像を、ansから正解データを読み込む
fimg = open("train-img", "rb")
fans = open("train-ans", "rb")
#ヘッダーを読み飛ばす
#imgには16バイトのヘッダー
fimg.read(16)
#ansには8バイトのヘッダー
fans.read(8)
train_x = read_img(fimg,train_num)
train_y = read_ans(fans,train_num)
fimg.close()
fans.close();
#モデル組み立て
sess = tf.Session()
#xが入力データ、y_が正解データ
x = tf.placeholder(tf.float32, [None, 784])
y_ = tf.placeholder(tf.float32, [None, 10])
#Wがフィルタ
W = tf.Variable(tf.zeros([784, 10]))
#bはバイアス
b = tf.Variable(tf.zeros([10]))
#yが出力 y = Wx + b 単純
y = tf.nn.softmax(tf.matmul(x, W) + b)
#yとy_でクロスエントロピーを取る
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y + 1e-30),reduction_indices=[1]))
#AdadeltaOptimizerを使ってクロスエントロピーを最小化
train_step = tf.train.AdadeltaOptimizer(0.1).minimize(cross_entropy)
init = tf.global_variables_initializer()
sess.run(init)
print(sess.run(W))
print(sess.run(b))
#テストデータ読み込み
test_x,test_y_ = read_test_img(test_num)
#100回学習を実行する
for i in range(1000):
#100個のトレーニングデータをランダムに用意して
xx, yy = sample_train_data(train_x, train_y)
#トレーニングを実行
sess.run(train_step, {x:xx, y_:yy})
#10回に1回テストを実行
if i%10 == 0:
test_y = sess.run(y,{x:test_x})
check(test_y,test_y_)
#最終的なテスト結果
test_y = sess.run(y,{x:test_x})
check(test_y,test_y_)
print(sess.run(W))
print(sess.run(b))