書記が数学やるだけ#727 ニューラルネットワークにおける誤差逆伝播法-2

誤差逆伝播法を一般化した自動微分について，計算グラフで考えるのは実装上重要である。

問題

説明

自動微分は連鎖律による合成関数の分解を基礎とするもので，ちょうど前回扱った計算を実装することができる。

解答

f(x)とxの割合を逆に計算することで逆伝播を表すことができる。和の場合はそのまま流す。

積の場合はクロスする形となる。和と積を組み合わせた例を以下に示す。

活性化関数として用いられるReLU関数を考えるには場合分けを要する。実装上はif文で簡単に表せる。

シグモイド関数を考えるのは今までの復習になる。新しく登場したexpノードについても連鎖律から考える。

これを行列に一般化することもできる。

活性化関数ソフトマックス-損失関数クロスエントロピーの組み合わせが，誤差そのものを逆伝播できることを計算グラフより示す。クロスエントロピーを考えるにあたり，新たにlogノードを考える。

ソフトマックス関数は総和を考えるので複雑である。

本記事のもくじはこちら：