書記が論文読むだけ#780 畳み込みニューラルネットワークの概要

畳み込みニューラルネットワーク（CNN）について最低限知っておくべき知識をまとめておく。

問題

いくつか手計算をしてみる。

説明

畳み込みニューラルネットワーク（CNN）では，畳み込み演算により画像や動画の情報を特徴量マップとして抽出することができる。

1次元における畳み込みは以前にも触れてきた通り：

畳み込み演算の例を以下に示しておく。

CNNにおいて出力サイズを調整する方法がパディングとストライドである。

これを3次元データに拡張したのが以下の図である。

プーリングは画像の解像度を落とすことで情報を要約する操作で，次元削減などに役立っている。主な方法として最大値プーリングや平均値プーリングがあげられる。

最後に具体例をいくつか示す。

LeNet（https://ieeexplore.ieee.org/document/726791）は1995年にまとめられたCNNの元祖とも言えるモデルで，畳み込み層やプーリング層（サブサンプリング層）の採用を特徴とする。

CNNで最も重要なモデルは，ISLVRC 2012で圧倒的な成果を収めたAlexNet（https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf）であろう。LeNetと比較すると，ReLU関数・データ拡張・局所応答正規化・ドロップアウトなどといった技術を取り入れることで，過学習の抑制に成功した。

解答

本問は8という文字画像に縦線を抽出するフィルタを用いたときの畳み込み演算である。

実際に計算してみると，確かに縦線が強調されていることがわかる。

次にパディングとストライドについて，実際に書いてみるのが早い。

最後にプーリングについて。

本記事のもくじはこちら：