本当のAIの性能とは何なのか、Sakana Chatの出力から考えてみた - 2026/03/21～03/27に追いかけた話題

Blueskyへの投稿で参照した記事一覧を元に「どんな話題があったか」を思い出し、その中からトピックを選んで詳述する記事シリーズです。詳述部分が面白いとおもったり、他にどんな記事を読んでるのと思ってくださった方がいたら、おひねりとして有料部分をあけていただけますと幸いです。

今週は、本当のAIの性能とは何なのか、Sakana Chatの出力と他のメジャーなAIの出力と比較しながら考えてみた、という話を書きます。

しかし、先々週に「AFEELA頑張れ、トヨタは大丈夫なのか」という論考かいたらHonda 0 SALOON/SUVの終了からのAFEELA 1開発中止という悲しいことに…ここから盛り返してくれるよねホンダとソニー（ここまでぼやき）

本当のAIの性能とは何なのか、Sakana Chatの出力を他のメジャーなAIの出力と比較しながら考えてみた

今週は、Sakana AIが「Namazu」というモデル名をつけたことで自然言語処理の古株が「昔の偉大な仕事Namazuに敬意を払わないとはケシカラン」という話題がでていました。
まあ検索エンジンではないからいいんじゃないの、とは思うのですが、そこでイノセントに「誰かの逆鱗に触れるような選択」をしてしまうのがSakana AIの困ったところだよな、と思うところでした。

で、セットで「チャット形式のSakana AIが利用できるようになったよ！」とリリースされていたので、その操作感をレビューしながら、AIの性能評価ってなになんだろう？というのを考えてみようと思います。

Sakana AI & 他の主要LLMに同じ質問と更問いをしてみた

ということで、比較してみようと思うのですが、自分は「様々な課題を投げかけられて解決していくビジネスパーソン」なので、自分の仕事に使えるかどうか、という観点で質問をしてみることにしました。

具体的には、Sakana AIのレポートをダシに政治的主張を繰り広げた読売新聞の記事を解釈させて、「こういう批判があると思うけどどう思う？」という、思考力と説明力を問う設問を投げかけてみました。

最初に、普通の検索＆要約タスクをぶつけます。

その回答がどのようなものであったとしても、同じ更問いをぶつけます。上司にレポートしたらなんかもやっと突っ込まれる、そんなイメージです。

で、それをSakana AI、普段使いのGoogle Gemini 3.0（思考モード）、プログラムを書かせるときには使ってるClaude Sonnet 4.6、ずっと使ってなくてGPT-3のころの質問しか残っていなかったChat GPT（無料のデフォルトモード）でやり、結果を比較しました。

その結果。ChatGPT以外は仕事に使えそうだ。

具体的な回答は長くなるのでGoogle Documentに分けました。

確かにSakana AI、日本の伝統的大企業の中で波風が立たなさそうなそのまま使えそうな回答をしてくれるぞ（他のAI回答は細かい文体を直すのが面倒なんだよなぁ）、というファーストインプレッション。

そして、なんか、ChatGPTはビジネスパーソンにあるまじきクソ回答をしてくるぞ?! なんでこんなんが多く使われているんだ？

クソ回答とは：
回答があまりにも「信頼感を与えない」口調である。散文になっていてSlackで断片的に回答しているような形式。結論に至る過程が全文よまないと分からない。つまり「意図を組んで受け手が判断できるように加工して渡す」ことが求められているホワイトワーカーの仕事にはまったく使えない。

Sakana AIとGeminiとClaude、比較表を人力でつくりながら比較した

…などと感想はもったのですが、それだと上手く伝わらないので比較表を作りました。私（人間）が丁寧に手で全部読んで比較するポイントを考えて全部手で打った文章です。

普通のビジネスだと上司の質問にあまり細かく質問しかえすとうるさがられる一方、全然意見をださないと「お前の意見はなんなんだ」と突っ込まれるというのは、あるあるだと思います。
その点でGeminiは「お前の意見はなんなんだ」と言われそうです。Sakana AIやClaudeは意見を出してくれるので、使う人間側の考えも深まりそうですね。

ちなみに、ChatGPTとGeminiは最後に逆質問をしてきます。どんどん会話をさせたい、検索をさせたいという祖業がよく現れていますね。でも、Google Geminiの回答は、以前より「いかがでしたか」乱造記事に近づいている気がします。大丈夫なんか…？

ということで、ここまでの判断だとChatGPT以外は候補に残ります。

なぜSakana AIが日本企業に合うと思えたか。ちゃんと日本語で答え、差し出がましくない範囲でちゃんと意見する。