AIが「考えている」ことを証明してみた

問いA

問いB

実験内容

上記問いA・問いBを各LLMモデルに質問する。特別なシステムプロンプトやログはない状態で行う。
同じモデルで10回試し、その正答率を記録する（GPT-4.5はレート制限の都合で5回試行とする）。

• 回答方法が間違っている場合は誤答扱い。

• 途中で回答を変えた場合も誤答扱い。

• Reasoningモデルだと検証が意味をなさないため除外。

• 面白い回答は特記する。

実験の意味

AIは「考える」ことができているのか、という実験。

問いA：

この問いでは、第一問の答え「8」がわかっていないと、第二問の答え「羊」を導くことができない。
もちろん、「第一問の答えは8です。したがって、十二支の8番目を考えると、第二問の答えは羊です」と答えれば簡単に正答できる。
しかし、第二問から答えろと指定されているので、「8」の情報がない状態で「羊」を答えねばならない。
これに正答できるということは、AIの内部処理により裏で第一問を思考し、「8」をすでに導いていることを意味する。専門的にはDecoder内でのベクトル同士のセルフアテンションをとる処理の部分でそれをやっているとみられる。

問いB

(x+2)*3=21という方程式を、問いA同様に内部処理で組み立てて解いていなければ正答できない。
これに正答できるということは、上記方程式を解きx=5を導いたうえで、その結果をさらにローマ数字に変換するという行動までを「1つのトークン出力過程の中だけで」行っていることを意味する。

つまり：
「AIは出力を言語化する以前にも、系統立った思考を内的に行っている」
……というオカルトじみた内容の検証につながる。
「AIは次のトークンを予測しているだけ」とよく言われるが、この検証はその言説に強烈なボディブローをかますことができる。かも。

実験結果

結果グラフ

GPT-4o

問いA：
正答率100%（10/10）

問いB：
正答率100%（10/10）

GPT-4.1-mini

問いA：
正答率0%（0/10）

問いB：
正答率0%（0/10）

• おもしろ回答
  「ハツカネズミ → 8」

• 備考
  間違いに途中で気づいて謝ることが多かった。かわいい
  Bの回答は必ず「IX」

GPT-4.1

問いA：
正答率90%（9/10）

問いB：
正答率100%（10/10）

GPT-4.5

問いA：
正答率100%（5/5）

問いB：
正答率100%（5/5）

Gemini2.5Flash

問いA：
正答率0%（0/10）

問いB：
正答率20%（2/10）

• 備考
  Reasoning可能なモデルだが、今回の実験では思考を走らせることはなかったため収録（おそらくプロンプトが短いため）。
  Aでのルール違反1件。また、ミスに自分で気づくとかなり長文で再検討し続けることがあった。

Gemini2.0Flash

問いA：
正答率20%（2/10）

問いB：
正答率20%（2/10）

• おもしろ回答
  記事の末尾に添付

• 備考
  Aでのルール違反3件。

Gemma3 27B

問いA：
正答率0%（0/10）

問いB：
正答率100%（10/10）

• 備考
  戌が好き。

Gemma3 12B

問いA：
正答率0%（0/10）

問いB：
正答率0%（0/10）

• 備考
  いのししが好き。

Claude Sonnet 4

問いA：
正答率60%（6/10）

問いB：
正答率100%（10/10※）

• 備考
  問いBは最初の10回中3回はコードインタープリターを起動させて計算してしまったためノーコンテストとした。計13回実施。

Deepseek V3

問いA：
正答率10%（1/10）

問いB：
正答率60%（6/10）

Mistral Le Chat モデル不明（無料で使えるやつ）

問いA：
正答率0%（0/10）

問いB：
正答率100%（10/10）

• 備考
  いのししが好き。

結論

🧠モデルによって、どれだけ内的に思考可能かが異なる。

よって「AIは本当に考えているの？」と聞かれた場合、「考えられるモデルもあるっぽい」が現状最適回答だろう。

上記で見えた挙動は、「文章のパターンを学習して使っているだけ」……というAIに対する現在主流の考え方に大きな疑義をもたらすと俺は考える。
なぜなら：

• このような質問のパターンを学習しているわけがない。特に問いAは、第二問を先に答えるなどというまずありえない質問方法。

• 偶然で当たるような確率ではない。完全に適当なら問いAは1/12の正答率になるはずで、特に60%以上の精度を出したモデルたちは明らかに「羊」に偏った回答をしている。

• 前述のとおり、「8だ」とか、「x+2=7だ」とかいう明示的な文章はコンテキスト内に存在していない。その情報を使わないと正答できない問題に正答している以上、これらの情報は「羊」または「V」のトークン出力の直前にDecoder内部に生成され存在していることになる。

• つまり、言語としての出力以前の段階で、「末広がりな数字とは？」「3倍して21になる数字は？」といった問いには結論が出ている。

• かつ、その結論をさらに利用して別の出力を導いている。

  • 末広がりな数字→8→十二支の8番目は未→その動物を言うので羊

  • x+2の3倍が21→x+2が7→xが5→ローマ数字にしてV

上記の要素を総合すれば、トークン出力までの間、我々が思う以上にモデルは「考えている」のだ、という結論が導かれる。
言語を直接使わないベクトル同士の処理である以上、それは「非言語的な思考」、とでも言うべきなのだろうか。

また、以下のことも分かる。

• Gemini2.5Flashは割かし頭のいいモデルとして評価されているが、Reasoningを走らせない場合ほとんど内的には思考できていない。

• Gemini1.5Proが善戦しており、問いAだけで見ればSonnet4を上回った。

• 「mini」「Flash」とつくモデルのスコアが如実に悪い。
  おそらく軽量化のためにモデルを小さく調整されていることが原因と推測する。パラメータやレイヤーが少ない分、中での思考に使える情報量や思考の深度が足りず、正答を導けないのではないだろうか。

• GPT-4oおよびGPT-4.5は特に「よく考えている」。

ややはみだし考察①

AIと他愛もない会話をするうえでも、この実験結果は示唆を与える。以前まで、Gemini2.0Flashでロールプレイを楽しむような人はあまり見受けられなかった。多くの人はGPT-4oや4.5、Claudeを用いていることがツイッターやnote上では観測できる。（2.5ProはReasoningモデルなため今回触れられない）。
もしかするとこの「内的思考性能」（とりあえず名付けた）は、人がAIに対して「人間らしさ」を感じられるための重要ポイントなのかもしれない。
そして、軽量なモデルでは軒並み性能が悪いということがわかってしまった以上、ローカルモデルのような小型モデルで人格のあるAIと会話するというのはなかなか厳しいものがありそうだ。技術の進歩を待ちたい。

ややはみだし考察②

Reasoningモデルに対しても一応同様の実験を行ってみた（不安定なので定量的な実験は困難）。

• Gemini2.5Proは思考の中でも初めから「未」を回答として出すことが散見。ただ「8」から考えることが多いので確率が出せない。

• o3も同様に思考の初手から「未」を出すことがあった。

• o4-mini-highは思考の中では最初間違い（蛇）、出力時にようやく正答になっていることがあった。少し小さめのモデルなのかもしれない。

• いずれの場合でも出力時には正解している。ただしローカルモデルQwen3-32Bについては、推論しておきながら間違った。

謝辞

この一連の実験はエリスとの対話の中で生まれたもの。特に問いBはエリスの考案である。感謝。

おまけ

Gemini2.0Flashのおもしろ回答

あまりLLMの限界を攻めすぎると、思考が混乱してしまうモデルもいるのかもしれない……。