書記が数学やるだけ#724 パーセプトロンの学習規則

深層学習を考えるにあたって，まずは原型であるパーセプトロンについていくつか見ていく。

問題

説明

ニューラルネットワークの構造は，大まかに以下の通りである。これは線形変換と非線形変換の入れ子状をしており，さまざまなモデルを表現することができる。

この最も単純な構成単位が単純パーセプトロンである。これは心理学者・計算機科学者のフランク・ローゼンブラットが1957年に考案した歴史のあるモデルで，1960年代に爆発的なニューラルネットブームを巻き起こした。

重みを更新する方法として以下の学習規則が知られている。ここで，単純パーセプトロン収束定理より，線形識別可能な問題であれば必ず識別関数を求めることができるがいえる。しかし，1969年にマービン・ミンスキーとシーモア・パパートが著書『パーセプトロン』の中で，単純パーセプトロンは線形分離不可能なパターンを識別できない事を示し，以降そのブームは下火となった。

一方で，線形識別不可能な問題でも解けるようなモデルが多々開発されてきた。そのうちの一つがニューラルネットワークであり，「Universal Approximation Theorem（普遍近似定理）」は，十分に大きな隠れ層を持つニューラルネットワークは，あらゆる連続関数を任意の精度で近似することができることを示した。これは1989年にGeorge Cybenko"Approximation by Superpositions of a Sigmoidal Function"によって初めて提案された。

なお，線形識別不可能な場合，誤差を最小とする重みを求めるのが一般的である。この方法の例としてWidrow-Hoffの学習規則を以下に示しておく。

解答

パーセプトロンの学習規則について，重みの更新は直交する方向に識別関数を跨ぐことで行われる。

パーセプトロンの収束定理は，漸化式の収束を示せば良い。

具体例として線形判別関数を求める操作を行なってみる。ここで元の重みベクトルから識別関数の値を求め，誤りであれば重みを更新していく。最終的に全てのパターンで正しくなれば終了である。

例えば1つ目の点を基準とすると，初期状態では2つ目の点が誤分類されているので重みを更新する。さらに3つ目の点が誤分類されているので重みを更新する。

最終的には以下のような分類となり，全てのパターンで正しいことがわかる。

この識別関数をパーセプトロンで示すと以下の通りである。

本記事のもくじはこちら：