ニューラルネットワーク

1.1 概要

ニューラルネットワークにはいくつか種類があるが、この講義では広い分野で応用され成功を収めている 順伝播型ニューラルネットワーク (feed-forward neural network) について触れる。

順伝播型ニューラルネットワークでは、ネットワークにループする結合を持たず、値を保持する複数のノードから構成された 層 (layer) を重ねた構造となっている。信号は、

というように単一方向にのみ伝播していく。これを、方向を意識して示す場合は 順伝播 と言う。

i層の値をベクトル X_i で表すと、一般的には下記の式で表現できる。

である。

※ A_i と B_i を合せ拡張行列 W_i で表現すれば、

となる。一般的には、バイアスも含めた W_i を 重み weight と言う場合が多い。

多層のニューラルネットワークの中で k-1 層から k 層への信号の順伝播を、k 層の 1 ノードに注目した場合の計算の様子を下図に示す。

活性化関数が f(x) = ax + b のような線形関数だと、ニューラルネットワーク全体でも線形関係しか表現できないが、活性化関数を シグモイド 1/(1 + e^-x) といった非線形関数にして層やノードの数を増やせばニューラルネットワーク全体での表現能力をどれだけでも高められることが分かっている。ただし、構成を複雑にすればするほど、パラメータの数も増大し、パラメータ調整は困難になる。

重みパラメータの調整には、逆伝播 (backpropagation) を用いる。一般に、入力からネットワークを通して得られる出力値群と訓練データの目標値群とのズレを 損失関数 (loss function) で表す。最初は、出力層において、損失関数の 勾配 (gradient) (偏微分値のベクトル) を逆方向に伝播させる。なお、一般に、勾配の要素 (偏微分値) が「出力値と目標値との差」になるように損失関数を設定する。
出力層以外では、逆伝播してくる偏微分値に重みの値を掛け足し合わせ、合計値を求める。 その合計値と活性化関数の微分値を掛け合わせ、各ノードのデルタ値 (勾配) を求める。求めたデルタ値をさらに前の層に逆伝播させていく。
この逆伝播を出力層から始め入力層に達するまで行なう。

このような逆伝播で、各ノードのデルタ値 (勾配) が求まる。これを基に重みパラメータの更新を行なう。

各ノードの勾配は訓練データとのズレを表しており、損失関数の値を小さくするためには、ネットワーク上の各ノードのパラメータを勾配と逆方向に動かしていけば段々とズレが小さくなっていくことが期待される。単純に、デルタ分 (ひとつ前の層のノード値と今の層のノードの偏微分値との積) に対して 学習率 (learning rate) α という小さい値を乗じて元の重みパラメータ値から差し引く手法が古くから使われており、勾配降下法 (gradient descent) (または 最急降下法) と言われる。

勾配降下法にも、パラメータの更新を行うデータの個数によって以下の種類がある。

(バッチ)勾配降下法

訓練データセット全体の勾配の和を求めて重みパラメータの更新を行う。

確率的勾配降下法 (stochastic gradient descent, SGD)

ランダムに選んだ訓練データ1個ごとに勾配を求めて重みパラメータの更新を行う。個々のデータに対する変更を累積していくことによって、十分な確率で訓練データ全体に対して望ましいパラメータが得られていくことを期待している。
局所解 (ローカルミニマム) に陥りにくいという利点があるとされる。

ミニバッチ勾配降下法

訓練データから決まった個数ごとをランダムに選び、それらの勾配の和を求めて重みパラメータの更新を行う。

この中でも、実装が容易で学習性能もそれほど悪くない SGD が従来からよく用いられてきた。

一般に、機械学習によって重みパラメータを調整し損失関数の値を最小化していくことを 最適化 (optimization) という。 最適化には、初期のニューラルネット応用では単純な SGD 法が使用されていたが、最近はパラメータの変化履歴を考慮して効率化を図った洗練された数種の手法 (RMSprop, Adadelta, Adam など) も使用されている。

順伝播型ニューラルネットワークの利用として、下の2通りの用途が挙げられる。

一般に、損失関数として、分類問題では 交差エントロピー (cross entropy)

が、回帰問題では 平均二乗誤差 (mean squared error) に比例した

が使用される。これらの損失関数を使うと、出力層の勾配の要素 (偏微分値) が

という単純な形で表せ、逆伝播のとき都合がよいためである。(ただし、分類問題では出力層の softmax 活性化関数も含めた勾配が上記の式となる)

初期には、層i と 層i+1 の間で、層i のすべてのノードに対して 層i+1 のすべてのノードに対する重みパラメータを考慮する形 (全結合層 fully-connected layer または dense layer と言われる) ですべての層を構築したネットワークが利用されていたが、

• パラメータが多くなりすぎて学習が困難になる
• 問題に特化した形で特徴量を使えない

などの問題があり、ニューラルネットワークは余り成果をあげられなかった。

しかし、画像認識の分野で2次元画像を2次元のまま見て、小さい矩形に分割しその中でのみ結合を考える層 (畳み込み層 convolution layer) を入れた 畳み込みニューラルネットワーク (convolutional neural network) が成功し、さらに、活性化関数に単純な

等を使用し、かなり多層にした構造のネットワークが画像認識を高い精度でできることが示され一気に普及した。

ランプ関数 ReLU のグラフ

1.2 ごく小さいネットワークでの計算例

2入力・2出力の回帰問題について、以下のニューラルネットワークを考える。
入力は2個の数値、ノード2個の中間層1層 (活性化関数 f は ReLU)、ノード2個の出力層 (活性化関数はなし) からなるごく小さいネットワークとする。
下図のように、入力から中間層への重みパラメータを

中間層から出力層への重みパラメータを

とする。ただし、b00, b01, c00, c01 はバイアス値である。

初期値として、以下の値になっているとする。

ここで訓練データとして入力 X = (1, 1) 出力 Y = (1, 0) を与え、学習率 α = 0.1 とした SGD によりパラメータを更新する。

まず、順伝播をみる。中間層の中央のノードは

となり、活性化関数 ReLU を f で表すとすると、

となる。中間層の一番下のノードは

となる。出力層の上の方のノードは

となる。出力層の下の方のノードは

となる。以上で、下図のように値が設定される。

次に、逆伝播をみていく。まず各ノードのδ値を求めていく。出力層において出力 (+0.03, +0.04) と教師値 (1, 0) との差は、上のノードで

下のノードで

となる。中間層の中央のノードでは、

となるが、

となる。ここで、ランプ関数 ReLU の微分 として以下を使っている。

中間層の一番下のノードでは、

となり、

となる。以上で、δ値は下図のように設定される。

次に、重みパラメータの更新を行う。まず、中間層・出力層間の重みの変化をみる。
バイアスの値は

となる。c10, c11 については、中間層の中央のノードは u=0 のため、重みパラメータの値は変化しない。
中間層の一番下のノードの u=+0.1 は 0 でないため、重みの値が更新され、

となる。
次に入力と中間層間の重みの変化をみる。
b00 については中間層の中央のノードが δ=0 のため値は変化しないが、 b01 は

となる。
また、b10 の値は変化しないが、b11 は

となる。同様に、b20 の値は変化しないが、b21 は

となる。以上で、重みパラメータは下図のように更新される。

なお、更新後の重みパラメータを使って入力 X = (1, 1) の場合の出力 Y は以下のように計算される。

上記計算から 出力 Y は学習前の (+0.03, +0.04) から Y = (+0.15352025, +0.068927) に変わる。教師値 (1, 0) に対し、上ノードは約 0.12 近づいているが、下ノードは逆に約 0.03 遠ざかったことがわかる。
このように、1個の訓練データを1回適用するだけでは、学習はほとんど進まず偏った結果に導かれてしまう。実際の学習では多数の訓練データを多数回適用する必要がある。

1.3 畳み込みニューラルネットワークの基礎と深層学習

初期の順伝播型ニューラルネットワークは、ひとつ前の層の全ノードと後の層の全ノードの全ての組合せに対して結合を考え重みパラメータを用意し調整する、いわゆる 全結合層 のみから成るネットワークであった。

従って、例えば 1000 ノード同士の層の間には 百万 を超える重みパラメータが必要となるなど、複雑なモデルに対してパラメータ数の増加が顕著で、その分パラメータ調整が困難になってくる。
ここで、画像データなど、入力のノード群が意味のある位置関係を持っている場合に、ノード間の位置関係の情報を維持したまま次の層にデータを渡していくと、元データの特徴を学習に活かすことができる。 これを実現するのが畳み込み層 (convolution layer) で、典型的には、2次元データを2次元のまま見て、小さい矩形に分割しその中でのみ結合を考える。
なお、畳み込みは2次元データに対して行われることが最も多いが、ノード間の位置関係次第で、1次元構造のデータや3次元構造のデータに対して畳み込みを行うこともできる。

一般に、畳み込み層を持ったニューラルネットワークのことを 畳み込みニューラルネットワーク (convolutional neural network : CNN) と言う。

畳み込み層は全結合層に比べパラメータ数が非常に少なくて済むので計算が効率化でき、その結果多層化でき、また、元データの特徴を生かせる利点もあり、画像の認識で従来法に比べて非常に高い精度を示すことができるようになった。

2次元畳み込みでは、カーネル (kernel) もしくは フィルター (filter) という小さな矩形パラメータ領域を使い、対象となっている層の2次元データの左上端からカーネルを適用し、対象層データとカーネルのデータ値の積の総和を求め、さらに総和に バイアス (bias) 値を加算し、必要なら総和に活性化関数を適用し、次の層の左上端のノード値とする。 カーネルは左上端から右にずらしていき、次層の上端右側のノード値を設定していく。カーネルが対象層データの右端に達したら、次は、上端より一個下の左端にずらして、その位置の次層のノード値を計算する。 以下同じようにカーネルを右に・下にずらしていき、その位置の次層のノード値を計算していく。カーネルが右下端に達したら終了となる。

右・下にずらす量は ストライド (stride) と言われ、標準では (1,1)、すなわち、右にも下にも1つずつずらしていく。これより大きいストライドを使って、もっとまばらな要素を使う畳み込みを行うこともできる。

2次元畳み込みのカーネルは、典型的には、3×3 や 5×5 などのサイズが使われるが、2×2 のように偶数を使うこともできるし、意味があれば 3×4 のような正方形でないものも使用することができる。ただし、偶数サイズを使うと中心がデータ位置と合わないので画像データに対してうまく働かない可能性があると言われている。

CNNでは、畳み込み処理と合わせ、データサイズを縮小する プーリング (pooling) という処理が多くのケースで利用される。プーリングには数方式があるが、簡単なものでは、データの局所的な矩形領域の最大値を代表値として採用する 最大値プーリング (max pooling) があり、多く使用されている。他には、領域のデータの平均値を代表値とする 平均プーリング (average pooling) もある。

1.4 NNを使った機械学習の演習

CNNを使った画像認識等の演習はこの授業では実施しない。学科では、他科目で学習できる。

この授業の NN (ニューラルネットワーク) 演習では、層数の少ない全結合のみの順伝播型ニューラルネットワークを使って、機械学習の分野で定番の問題とされているアヤメの品種分類を学習させる。

アヤメの特性データとして、

• ガク片の長さ(cm)
• ガク片の幅(cm)
• 花びらの長さ(cm)
• 花びらの幅(cm)

という4つ一組のデータが 150 個あり、そのデータに対応したアヤメの品種として、ラベル値 150 個

が用意されている。

全結合のみの順伝播型ニューラルネットワーク (中間層1層) を構築し、150組のデータのうち、何割かを訓練データとして学習させる。
訓練データ一式の1回の学習を エポック (epoch) というが、1エポックの学習だけでは十分に学習が進まないので繰り返し学習させる。

入力層はノード数 4 固定のベクトルで、アヤメの特性データを入れる。
中間層の活性化関数は ReLU とする。中間層のノード数は何通りか変えて、いい結果が得られるものを選ぶ。
出力層はノード数3固定のベクトルで、softmax活性化関数 を使って、0番ノードの値 p₀ がセトナに、1番ノードの値 p₁ がバーシクルに、2番ノードの値 p₂ がバージニカに、それぞれ分類される確率を表す。活性化関数を通す前の 0, 1, 2 番ノードの値をそれぞれ v₀, v₁, v₂ としたとき、

の関係がある。(ここで exp は自然対数の底 e のべき乗を表す)

ネットワーク構造を下に示す。なお、①となっているノードからの矢印はバイアス値を、青色の部分は ReLU 活性化関数を、橙色の部分は softmax 活性化関数を、それぞれ示す。

今回は分類問題なので、損失関数は下式で与えられる交差エントロピーを使う。

ここで、p_i は softmax の i 番目の出力値、t_i は訓練データの分類における i 番目の値である。今回のアヤメのデータは品種が完全に分類できているので、t_i は正解の分類値のときのみ 1 で、他は 0 となる。このとき、交差エントロピーは

となる。

演習のプログラムでは、各エポック終了時に、訓練の損失関数の平均値と訓練データの正解率およびテストデータの正解率を示している。
ただし、今回のサンプルではデータ数が全体でも 150 と少なく、それをさらに訓練データとテストデータに分けているので、確率的なバラつきが非常に大きく、少なくとも10回以上やって平均の値を見るようにしなければならない。

テストデータは訓練には使われていないが、今回のニューラルネットワークが全体のデータに対する 汎化 (generalization) 能力を発揮できれば、テストデータでも高い正解率が得られるはずである。
訓練データの結果に比べてテストデータの結果がかなり悪いとき、過学習 (overfitting) が起こっているといわれ、訓練データの細かい特徴に引っ張られて学習がうまく進んでいないとされる。

過学習になった例

うまく学習が進んだ例

1.5 ディープラーニングのライブラリの利用

上の演習では、中間層1層のニューラルネットワークを一から実装したプログラムを使用した。しかし、実際に大きなデータに機械学習を適用する場面では、ニューラルネットワークの構造や最適化手法を色々変えてよい結果の出るものを選びたい。 そういう場合に一からプログラムを記述していくやり方だと効率が悪すぎる。
ニューラルネットワークにはフリーで使えるライブラリまたはフレームワークが非常に多く存在し、GPU (Graphics Processing Unit) の利用に対応しディープラーニングまで可能な優れたものが多く公開され利用されている。代表的なものをいくつか示す。

※ GPU (Graphics Processing Unit) は元々はコンピュータ画面の画像処理用プロセッサだが、並列処理能力に優れ、そのために並列化しやすいニューラルネットワークの計算で非常に優れた性能を示すため、本格的な深層学習 (ディープラーニング) では不可欠なものとなっている。

• Chainer (開発終了)
• TensorFlow
• Keras
• PyTorch

これらはインターネットからダウンロードできるので、今後卒業研究でニューラルネットワークによる機械学習を行う場合などに利用するとよい。

先の演習でやったアヤメの特性データの機械学習を、Keras (正確には TensorFlow に組み込まれている Keras) を使って書き直して動作させてみる。

多くのディープラーニングライブラリはプログラミング言語 Python で使うようになっており、Kerasを用いた機械学習も Python のプログラムになる。

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Input, Dense
from tensorflow.keras import optimizers

tf.compat.v1.disable_eager_execution()

from sklearn import datasets
from sklearn.model_selection import train_test_split

iris = datasets.load_iris()
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, train_size=0.75)

model = Sequential([
	入力層の定義 ,
	中間層1の定義 ,
	・・・
	ここに必要なだけ中間層を定義 (コンマ区切り)
	・・・
	中間層n→出力層の定義
])

    Input(shape=(4,)),

	Input(shape=(4,)),
	Dense(中間層のノード数, activation=tf.nn.relu),

	Dense(3, activation=tf.nn.softmax)

opt= optimizers.SGD(learning_rate=学習率, momentum=0.0)
model.compile(loss='sparse_categorical_crossentropy', optimizer=opt, metrics=['accuracy'])

model.summary()

model.fit(x_train, y_train, epochs=100)

score = model.evaluate(x_test, y_test, batch_size=1)
print('正答率(accuracy) = ', score[1], sep='')

python  ファイル名

深層学習用フレームワークを使うと、ネットワーク構造を容易に変更して学習を試すことができる。下の演習では、中間層を追加してみる。