【機械学習】TensorFlowの基本分類チュートリアル「Fashion MNIST」を実行しながら解説 - Part2 -【TensorFlow】

前回

正規化

前回の続きで、実装の説明に入ります。
機械学習では入力データになんらかの変換をかけることを「前処理」と言いますが、正規化は前処理の一つです。
正規化の手法は複数ありますが、ここではそれらの詳細には触れません。

過学習を防ぐ

正規化を行う理由にはいくつかありますが、その一つには過学習を防ぐことがあります。
過学習とは訓練データにだけ適応し、未知のデータに対応できない状態のことです。
機械学習などの最終的な目的は、汎用性にあるので未知のデータに対応できないというのは大きな問題です。

min-max normalization

チュートリアルでは正規化の手法の一つである、min-max normalizationを使っています。
min-max normalizationは最大値と最小値の範囲が決まっているときなどに使います。
このチュートリアルが持つデータは0〜255ピクセルという、最小値(0)と最大値(255)が決まっているので、min-max normalizationを使うのが最適です。

min-max normalizationの式は以下のようになります。

処理後の値 = (処理前の値 - 最小値)/(最大値 - 最小値)

今回の例に当てはめると、

処理後の値 = 処理前の値/255

となります。処理前の値を最大値の255で割っています。
それが以下のコードになります。

# normalization
train_images = train_images / 255.0
test_images = test_images / 255.0

これで正規化も完了です。

分類クラス

次に、分類されるクラスのラベルを用意します。
これは単に、訓練ラベルなどが何を表すかを決めることなのであまり説明はいらないと思います。

class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat', 
               'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

前回の記事でも書きましたが、このチュートリアルでは以下のようなクラス分けがされています。

0 => Tシャツ/トップ
1 => ズボン
2 => セーター
3 => ドレス
4 => コート
5 => サンダル
6 => シャツ
7 => スニーカー
8 => バッグ
9 => アンクルブーツ

モデルの作成とコンパイル

続いてモデルの作成を行いましょう。
モデルの作成は、ニューラルネットワークの構築に必要です。

# create model
model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

細かく実装を見ていきます。

モデルの作成

最初に、モデルを作成する際に使用する「SequentialモデルAPI」です。
Sequentialモデルは層を積み重ねたものです。
詳細は公式ドキュメントをご覧ください。

Sequentialモデルのガイド - Keras Documentation

model = keras.Sequential([
	# layers
])

コンストラクタにレイヤーのインスタンスを与えることでSequentialモデルを作ります。

データを再フォーマット

今回の一番最初のレイヤーはフォーマットするためだけにあります。
tf.keras.layers.Flattenによって、画像のフォーマットである2次元配列（28×28ピクセル）を (28×28=)784ピクセルの1次元配列に変換します。

model = keras.Sequential([
	keras.layers.Flatten(input_shape=(28, 28)),
	# other layers
])

第1のDense層

tf.keras.layers.Denseを使って層を定義します。
第1のDense層では128個のノードを持つ、ReLUレイヤーです。

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    # ....
])

活性化関数としてReLUを使っています。
ReLUは入力が0以下の場合は0を返し、入力が0より大きい場合は入力値を返す関数です。

活性化関数 - Wikipedia

第2のDense層

今回のモデルでは最後のレイヤーになります。
第2のDense層は10ノードを持つsoftmaxレイヤーです。

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

活性化関数としてsoftmax関数を使っています。
softmax関数の特徴として、返却される値は0〜1の数値であり、出力される値の合計は必ず1になります。
今回の例で言えば、以下の分類クラスのどれに当てはまるかを表す確率を配列で返却します。

0 => Tシャツ/トップ
1 => ズボン
2 => セーター
3 => ドレス
4 => コート
5 => サンダル
6 => シャツ
7 => スニーカー
8 => バッグ
9 => アンクルブーツ

例えば、ある画像を入力値として与えた場合には以下のような結果が返ってきたとします。

[0.01, 0.01, 0.03, 0.95, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00]

これが表すのは、

Tシャツ/トップ、ズボンである確率が1%
セーターである確率が3%
ドレスである確率が95%
それ以外である確率は0%

ということです。

モデルのコンパイル

続いて、モデルのコンパイルを行います。
モデルのコンパイルとは、モデルの学習を始める前にどのような学習をするかを設定する作業になります。
具体的には、「損失関数」と「最適化アルゴリズム」と「評価関数のリスト」を引数として設定します。

Sequentialモデルのガイド - Keras Documentation

# compile model
model.compile(optimizer=tf.train.AdamOptimizer(), 
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

それぞれについては公式ドキュメントにも記載がありますが、ここでも軽く触れておきます。