書記が数学やるだけ#900 GPT-3，InstructGPT，GPT-4（GPTモデルの発展）

GPTモデルの発展を簡単に見ていく。

問題

説明・解答

GPT-3は，約1750億のパラメータを持つ大規模な自己回帰型言語モデルであり，これはGPT-2のパラメータ数は約15億であるのに対し約100倍に拡大されている。このスケール拡大により、次のような性能向上が見られた。

• 文脈理解力の向上：長文における一貫した意味生成が可能になった。

• Zero-Shot・Few-Shot学習の実現：追加の微調整を行わず、提示された指示や数例の入力から多様なタスクを遂行できるようになった。

• 自然言語処理の汎化性能の向上：翻訳・要約・質問応答など、明示的に訓練していないタスクでも高精度な出力を生成できるようになった。

これは，大規模化に伴うスケーリング則（Scaling Laws）によってデータ量・パラメータ数・計算量の増加が性能向上に直結した結果の例である。

InstructGPTは、GPT-3を基盤にして開発されたモデルであり、人間の指示により正確かつ安全に従うことを目的として改良された。主な特徴は、人間のフィードバックを利用した強化学習（RLHF：Reinforcement Learning from Human Feedback）によって訓練されている点である。これにより、従来のGPT-3よりも、ユーザー意図に沿った出力を生成する能力が向上した。

InstructGPTの訓練には，RLHF（Reinforcement Learning from Human Feedback）が用いられており，その手順は以下の3段階である。

1. 教師あり微調整（Supervised Fine-Tuning）

   • GPT-3を基盤に，人間が作成した「指示と望ましい応答（instruction–response）」のペアを用いて微調整する。

2. 報酬モデルの学習（Reward Model Training）

   • 同一の指示に対して複数の出力候補を生成し，人間がそれらを良い順にランキングする。

   • このランキング情報をもとに、モデルの出力品質を数値化する報酬モデルを学習する。

3. 強化学習による最適化（Reinforcement Learning Fine-Tuning）

   • 報酬モデルを報酬関数として利用し，PPO（Proximal Policy Optimization）などの強化学習手法でモデルを再学習する。

   • これにより、人間の好みに沿った応答を生成する能力が強化される。

GPT-4は，InstructGPTの技術を発展させた次世代モデルであり、より大規模で高性能なアーキテクチャを持つ。マルチモーダル対応（テキスト＋画像入力）を実現し、論理的推論力や安全性、指示従順性がさらに強化されている。また、より安定した長文処理と高度な文脈理解が可能であり、幅広い応用分野に対応する汎用AIモデルとして位置づけられる。

本記事のもくじはこちら：