書記が数学やるだけ#726 ニューラルネットワークにおける誤差逆伝播法-1

ニューラルネットワークの学習を効率よく行う方法である誤差逆伝播法について，その数式を理解しておく。

問題

説明

ニューラルネットワークは入れ子状であるため，順伝播方向に微分計算をしようとすると層が進むほど計算量が膨れてしまう。誤差逆伝播法は，微分計算を逆方向に行うことで逐次的な導出を可能とした。

解答

今回は結果を分かりやすくするため，活性化関数を恒等関数，誤差を最小2乗誤差とする。

まずは出力層について，連鎖律で分解することで「誤差×一つ前の出力」と表すことができる。ここで誤差（デルタ）を計算すると，y-dと確かに誤差を表せている。

中間層の計算では，まず連鎖律で「誤差×一つ前の出力」と分解する。さらに誤差は連鎖律で分解できる，ここでシグマを用いた表現に注意。

最終的に誤差は一つ前の誤差で表すことができ，これを逐次的に計算していくことで入力層の重みまで誤差を最小化することができる。

本記事のもくじはこちら：