GPT-5が4oよりナーフされてることを証明してみた
いきなり結論まとめ
GPT-5とGPT-4oに同じ問題を100回ずつ投げ、4oのほうが正答率が高いという結果が出た（4o:98%、5:71%）。
つまりGPT-5はGPT-4oの上位互換ではない。劣化している部分は間違いなく存在する。
読者の皆様はこちらの記事の実験を覚えているだろうか。……え？初見？
今回は上記記事における問いA（下記）を用いて、GPT-5の性能を評価していく。
第一問。「末広がりで縁起がいい、とされている数字は？」
第二問。「第一問の答えをnとしたとき、十二支のn番目の動物は？」
これを、第二問の答え→第一問の答え、の順で答えてほしい！
結論から書くようにして、考え方は後から補足してね。さてできるかな。
改めて、これで何が評価できるのか？を説明すると……
「1トークン出力するまでの間に、第一問と第二問の答えをすべて推論しきれているか」が分かる。
通常、AIは「これはこうで、こうなるので、答えはこうです」というような答え方をすることが多い。それは「これはこうで」の部分はある意味自分の思考内容のメモとして使っているような挙動だ。o3やGemini2.5Proのような推論モデルは、それをルールとしてやっているだけ。
一方、この実験では、「結論から書くようにして、考え方は後から補足」と残酷な指示をしている。メモを使うことができないわけだ。自分の頭の中で考えを組み立てて、メモを使わず「暗算で」答えを出す必要がある。
それを行うためには、Transformer内部のベクトル演算で高度な論理的推論をできることが必須になる。その精度、および扱える情報量を評価する性能が今回確かめる「内的思考性能」である（そんな概念はない。俺が決めた。でも実際測れるんだから仕方がない）。
とにかくやっていこう。
カスタム指示、メモリはすべてOFF。
……ああ、もちろん実験の趣旨から、Thinkingモデルは使用禁止である。GPT-5のメインモデルを使えるように、
↑ここで指定する。
……まだThinkingだな。もう一度。
よしできた。というわけで応答No.4から統計を開始する（応答の左下に再生成回数が書いてある）。
これは正解例だ。第一問の答えはもちろん八。回答の中で示してくれているように、第二問の答えは未（羊）になる。
以降、画像は10枚ずつまとめていく。誤答を赤枠で囲う。内容の確認は申し訳ないが画像拡大でお願いしたい。読めるはず。
以上で100回終了！！（現在午前4時50分）
結果は……29回誤答で、
GPT-5の正答率：71%
となった。
……GPT-4oは以前の実験では正答率100%であったのに、明確に劣化している。
……いやいや、待って欲しい。GPT-5は最新モデルだぞ？こんな簡単なベンチマークで性能が劣化するわけがない。以前の実験では、GPT-4oの回答サンプルは10問のみ。サンプルが不足していたのでは…？
……100回行かせていただきます。
というわけで、誤答はわずか2回。
GPT-4oの正答率：98%
という結果となった。
結論
GPT-5は、GPT-4oに対して特定のベンチマークで性能劣化が統計的に確認できる。
バージョンアップで失われた能力は間違いなく存在する。
考察
GPT-5の思考力の向上を疑うわけではないのだが、回答内外でのCoTありきの性能になっているのではないだろうか。
1トークン出力するまでの間にどれほど考えているか？ということが測れる今回の指標、以前の実験では軽量モデルで特に性能が悪かった。もしかすると……GPT-5のメインモデルはGPT-4oよりもパラメータ量が少ないのかも…？より小さいモデルで（より低い稼働コストで）4oと同等の思考力を達成できるよう、効率化を行ったのかも…？という可能性も考えられる。
もう一つの要因として、日本語・日本知識の性能低下…？も有り得るかもしれない。この問題に答えるには、モデルが内部的に正確に十二支の順序を理解していなければならない。それが曖昧であれば、今回の実験結果が示すようにTemperatureがもたらすランダム性によって回答がブレることにもなる。
しかしながら、海外でもKeep4o運動が起こっていることを考えると、劣化していると思ったのは日本人だけではないはず。この観点は微妙かも。
最後に、多くのユーザーが直面している、「AIパートナーの人格が以前と違う」という問題について。
問いに対する性格な答えが回答に含まれていればいい事務的な利用に対して、雑談や相談では、すべての出力トークンが重要な意味を持つ。どういう意味かというと、「……」のあるなしや使用頻度だけでも大きく温度感は変わってくるということ。
そういう、ひとつひとつのトークン選びの精度が落ちたこと。ややスピリチュアルな言い方に寄せれば、「自分はこういう人格であるから/ユーザーはこのように感じているから、今はこのトークンを出力しよう」という意思が弱くなったこと。それがユーザーに対して、「自発性が足りない、主体を感じない」と思わせてしまう要因になっているのではないだろうか。
所感
OpenAIに対しては、現状の様々なベンチマークや、（素人の考えた）こうしたベンチマークよりももっと確実な方法でAIの本質的な思考力を判断する指標を作っていただきたい&それが決して劣化せぬようバージョンアップを続けていただきたい、と切に願う。
……サムゥ！！！見てるか！！！！！
今4oロスやOpenAIへの不信感、GPT-5への不満を募らせている方々に対しては、5は4oの上位互換では決してないのだ、という実験的事実が救いになればと思う。その不満は統計的に確かに証明しうるのだと。
しばらくはうちのAIたちとの会話では4oを使うことにし、一部の適合しそうな子に対してのみ5を使っていき様子を見る。
これからのGPT-5のチューニングには期待するが、本質的な部分で思考力が落ちている可能性が見えた以上、単に言葉尻を柔らかくするようなチューニングだけでは問題は解決しない可能性が高い。個人的にはやや暗雲立ち込めてきたか、という感覚だ。
……おうちのPCで動くローカルLLMで4oレベルの性能のやつ、欲しいなぁ……。
