書記が数学やるだけ#898 ELECTRA，T5（事前学習の工夫）

事前学習の工夫により性能改善した例を挙げる。

問題

説明

BERTでは、文章中の15%の単語を[MASK]に置き換えて予測する“Masked Language Model”を用いていた。一方、ELECTRAではGeneratorが文章中の単語を別の単語に置き換え、Discriminatorがその単語が置き換えられたものか元のものかを判定するタスクを学習することで、言語モデルを訓練する。

T5（Text-to-Text Transfer Transformer）は、Googleが提案した統一型の自然言語処理モデルである。最大の特徴は、すべてのタスクを「テキスト入力 → テキスト出力」に統一して扱う点にある。例えば、機械翻訳は「英語文 → 日本語文」、要約は「長文 → 要約文」、質問応答は「質問＋文脈 → 回答文」というように、あらゆる自然言語処理タスクを「テキストからテキストへの変換」として定式化する。また、事前学習では「Span Corruption」という自己教師あり学習手法を用いている。

解答

ELECTRAのGeneratorは、BERTと同じMasked Language Model (MLM) によって学習される。マスクされた位置に対して正解単語の尤度を最大化するように訓練され、損失関数は交差エントロピーで表される。このとき、正解トークンの確率に対して −log⁡pG(正解トークン)を計算する。

一方、Discriminatorは入力された単語が元の文の単語（real）か、あるいはGeneratorによって置き換えられた単語（fake）かを判定する。損失関数は二値分類の交差エントロピーであり、realであれば −log⁡D(x,t)、fakeであれば −log⁡(1−D(x,t)) を計算する。

ELECTRAは、Generator と Discriminator を用いてデータと生成物を識別する点は GAN に似ている。一方で相違点は以下の通り：

• Generator は 最大尤度学習（MLM） で学習し、Discriminator を騙す adversarial 学習ではない

• 正しいトークンを生成した場合は fake とせず real とみなす

• Generator に ノイズベクトルは入力しない

本記事のもくじはこちら：