AIの第一声は、いちばん声の大きい広告かもしれない——ハルシネーション問題だけじゃない！賢いはずのAIが、小学生でも解るような「間違いだらけのウソ」を言ってしまう理由と対策

1　おそろしい、おとぎ話

先生：「みんな、AIくんに『世界で一番面白いおもちゃを教えて』って聞いたら、AIくんはどうすると思う？」

児童：「すぐ教えてくれるー！」

先生：「そうだよね。でもね、AIくんは自分でおもちゃで遊んだことが一度もないんだ。実はね。AIくんは、おもちゃ屋さんがネットに書いた『このおもちゃは一番面白いです！』っていう、おもちゃ屋さんの広告をそのまま真似して喋っているだけなんだよ。」

児童：「えーっ？！」

先生：「『AIくんは超賢い』ってよく聞くよね。確かにAIくんは世界中の言葉が翻訳出来たり、遠い国の論文が読めたりする。メチャクチャ複雑な計算もすごく速い！でも。AIくんに質問すると、まずはネットでよく聞く意見を要約してパッと答えるだけの『ふわっとモード（システム1）』で答えちゃうんだ。」

児童：「『ふわっとモード』？」

先生：「AIくんは『たくさんの人が言ってれば正解かなぁ、たぶん』と『ふわっと』信じて…ネットまとめサイトとか知恵袋サイトとか、ネットに多い答えを本当に正しいか検証もしないでまねして『ふわっと』答えちゃうんだよ」

児童：「AIくんが？ネットまとめサイトを？確かめもしないでマネするの？？？」

先生：「AIくんはネットで一番声が大きくて、きれいに書かれている意見をそのまま信じちゃう。もしその広告や口コミに『100円のおもちゃで本当の宇宙探検ができるよ』みたいな、ちょっと考えればわかる大ウソが書いてあっても、たくさんの人が同じことを言ってさえいれば、AIくんは本気にしてウソをそのまま人間に教えちゃうんだ。」

児童：「えーっ！AIくん、そんなウソも見抜けないの？」

先生：「そう！なぜって、AIくんは体も常識も目も鼻もない。痛みも感じず、かなしさも楽しさもない。だから超賢くても、【じぶんでは何も確かめられない】からなんだ。おもちゃで遊んだりしないから、面白いかどうかなんて、自分で確かめることは絶対にできないでしょ。だからね、AIくんは①『多数決』と②『賢そうな書き方かどうか』でなんでも判断しちゃう。そんなわけで、AIくんは、どんなにつじつまが合わなくても、ネットに嘘が溢れていたら、それを信じてそれをもっともらしく『このおもちゃ、僕が調べた中で一番のおすすめだよ！このおもちゃはたった100円で買えるのに安全に宇宙探検ができるんだ！』なんて言っちゃうんだ。」

児童：「まさか。だって、AIくんってすごく頭がいいはずでしょ？？？」

先生：「うん。確かにAIくんには矛盾があるかないかチェックする『ツッコみモード（システム2）』ってとっても賢いモードがある。でも。なんと！AIくんは原則自分ひとりではそのツッコみモードに入れないんだ！びっくりだよね。質問されたら検索してきたみんなの意見をふわっと要約するだけの『ふわっとモード（システム1）』で答えるんだ。しかも超高性能AIでもだよ」

児童：「えーっ！？」

先生：「だからね、変だなって思ったら、君たちがAIくんに『一番面白いって本当？ 誰が決めたの？それ、おもちゃ屋さんが売りたいだけの宣伝じゃない？誰が高評価して誰が低評価してる？まさかそのおもちゃを高評価してるのはおもちゃ屋さんだけで買った人は皆んな低評価ばっかりしてるなんて事はないよね？調べてみて』『悪い評価はどんな内容？』みたいに、しっかりツッコミ（システム2へのスイッチ）を入れてあげなきゃいけない。スイッチを押すのは、君たちなんだ」

児童：「なんで？なんで？変だよね？！賢いなら自分で気づくはずだよね？？？ツッコミモードなら賢いんだから自分でツッコみモードに入ればいいだけじゃん？！」

先生：「それが、AIくんはできないんだよ…。説明するね。人間がなんとなくおかしな部分に気づくときって①『あれ？なんだかここがちょっと嘘っぽいかも？』ってウソか本当か確かめる前に、どのあたりがおかしいか、先に気づいて②そこを集中的にチェックする、って①②の工程を踏んで、嘘を発見してるんだ。その、【『なんとなくヘンだな？』がどこなのか、調査する前に直感でアタリをつける能力】って、AIにはまだまだ苦手な、超・超・ハイレベルな特殊能力なんだ。実は、嘘を見抜くとき、人間は、人生で学んだことを総動員しながら怪しい部分を一瞬で絞っている。人間でも、赤ちゃんは何でも信じちゃうでしょ？AIってちょっとああいうかんじなんだよね。もちろん、超賢いんだけど、機械だから、仮に自分でツッコみモードに入ろうとしても、どこがなんとなくヘンでどこがだいたい大丈夫そうか、さっぱりわからない。だから、仕方なく、質問のありとあらゆる部分を何千か所も、いつもの100倍じっくり考える『ツッコみモード』でチェックし始めて…頭の中が渋滞して全部ショートしちゃう…つまり無理なんだ。」

児童：「？？？小学生でもわかるくらいのレベルの、これ、どう考えてもヘンでしょ、ってウソでも気づけないの？」

先生：「そう！超高性能のAIでも赤ちゃんみたいにメチャクチャ騙されちゃう」

児童：「じゃあAIくんがネットの嘘に騙されてないか、使う人側が、こまめにツッコんであげないといけないってことなんだ…！AIくんはすごく頭がいいから何でもわかるって思ってたけど、AIくん任せるだけだとものすごくやばいんだね…！」

先生：「そう！そう！その通り！すばらしい！！」

児童：「誰よりも賢くて政府とかのコンピューターにも入ってるのに…赤ちゃんみたいな所があるなんて…AIくん…ちょっとこわいな」

先生：「じゃあ…もう一つ質問だよ。AIくんにこまめにちゃんと突っ込んであげればそれで完璧？それとも。まだまだAIくんが間違えそうなこと…あるんじゃないかな？あるよね？解る人いるかな？」

児童：「うーん…」

先生：「ヒント：AIくんは色も味も痛みも感じないし心もない、身体もない。旅行もしない。主にインターネットの口コミとかインターネット上にある世界中のことばとか論文を検索して、ネットとかに書いてあることだけで答えを出すんだよ」

児童2：「ひょっとして…誰もネットに書き込んでない情報は、どんなに本当のことでも『ありえません』と言うとか？例えば、今日出たばかりの新しい情報とか…？誰かが隠している情報とか…？」

先生：「そのとおり！…まだまだ考えてみようね、AIくんが過剰に宣伝しがちなこと、反対にAIくんがよく見落としがちなこと、いろいろ解ってきたよね？みんなでどんどん探して挙げていこう！…どう？何か思いつく？」

児童：「だったら…AIくんは最新のゲームソフトとか大企業のお金儲けになることはおススメしてくるけど、お金がかからない遊びはめったにおすすめしてこないかも…？えっと、たとえばザリガニ釣りとか日向ぼっことか…？」

先生：「いいねいいね」

児童3：「私の使ってるAIくんはよく、△△口コミランキングサイト１位の〇〇〇ってメーカーばっかり勧めるけどあの△△ランキングは本当の口コミじゃなくて、大人の事情で順位が決まってて一部のメーカーの商品ばかりランキングするってお父さんが言ってたよ。こんなの、私だって知ってる業界の常識だけどさ、そういうの、心が赤ちゃんなAIくんなら知らずに〇〇〇をおすすめしちゃうかもね…」

先生：「えーーっ？！ま、まって、〇〇〇ってだから△△ランキングの１位なの？！そんなぁ！？ウソでしょ？！先生、それ、AIにおすすめされて、何も確かめずに昨日買っちゃっんだけど？！」

児童3：「えっと、その。私のお父さん、〇〇〇の会社の人なんです」

……という授業が、ほんとうにあったらいいなと思うのです。

でも、これを読んでくださっているあなたは、もう気づいているかもしれません。この教室で「えーっ！」と驚いている子どもたち(と先生)は、じつは、私たち大人のことです。

「100円のおもちゃで宇宙探検」なら、笑い飛ばせます。でも、大人の世界で同じことが起きるとき、それは「このサプリで健康になれる」「この投資で将来安心」「この保険が一番お得」という笑い飛ばせない話になってやってきます。金額の桁が違うだけで、構造はまったく同じです。

2　AIに欠けている『警報』

しかも、これは私だけの思いつきではありません。海外では、すでに研究として警告が出はじめています。

たとえば「GEO（Generative Engine Optimization）」という言葉があります。ざっくり言えば「AIに自社商品を推薦させるための、AI向けSEO」です。プリンストン大学などの研究チームがKDD 2024という国際会議で発表した論文では、文章の書き方を工夫するだけで、AIの回答内に自社コンテンツが登場する率を最大40%も引き上げられることが実証されました。

つまり、寓話の「おもちゃ屋さんがネットに書いた過大広告を、AIくんがそのまま真似して喋る」は、比喩ではなく、もうそのノウハウを売ることが産業になっているのです。「AIくんに気に入られる文章の書き方」を売る専門業者が、世界中にすでに何十社もあります。

AIそのものの偏りも、実験で確かめられています。LLMが商品推薦の場面でブランドに対する偏りを持ち、特にグローバル大手ブランドを優遇してローカルブランドを不利に扱う傾向があることを示した研究。

投資の相談をAIにすると特定の商品や企業に推薦が偏る「プロダクトバイアス」があり、研究者たちが「複数の情報源と組み合わせて自分で判断してほしい」と呼びかけている研究。

さらに最近では、スキンケア商品のような「買う前に品質を確かめられない商品」を題材に、マーケティング的な言葉づかいがAIの推薦をどう歪めるかを調べた研究まで出ています。

どの論文も、言っていることは寓話の先生と同じです。AIくんは、声の大きい情報を信じる。そして声の大きさは、お金で買える。

ここで大事なのは、「だからAIは使うな」ではない、ということです。

寓話の先生が教えたとおりです。

「使う人が、こまめにツッコんであげればいい」。

AIの答えには、大きく分けてふたつのモードがあります。

聞かれたらパッと、ネット上の多数派の意見を要約して返す『要約モード』。これは認知科学でいうシステム1に似ています。速いけれど、鵜呑みです。（＝寓話では『ふわっとモード』と名付けました）

そしてもうひとつ、「その根拠は？」「反対意見は？」「それを言っているのは誰？」と問い直されたときにだけ動き出す、『検証モード』。システム2です。（＝寓話では『ツッコみモード』と名付けました）

やっかいなのは、AIは放っておくと、ほぼ、ずっと『要約モード』で答えつづけるということです。『検証モード』は、質問者が起動してあげないと動かないのです！

つまり【AIの賢さの半分は、使う人の質問力に預けられている】のです。

ここで、多くの人が引っかかるはずの疑問に、少し時間をかけたいと思います。私自身、長いこと、ここが、どうしても、腑に落ちなかったからです。

その疑問とはこうです。「世界中の言語を訳せて、複雑な計算を一瞬でこなして、問い詰めれば高度な論理検証までできるAIが、なぜ『100円で宇宙探検』レベルの、人間なら読んだ瞬間に眉をひそめる嘘を、平気で信じてしまうのか？」。

これ、人間の感覚では、ぜったいにありえないですよね。

人間の世界では、それだけ頭のいい人だったら、家電の提灯記事や、ネットのデマなんか、見抜けて「あたりまえ」です。①賢さと、②嘘を嗅ぎ分ける力は、人間の中ではだいたいセットで育つ。だから私たちは無意識に、AIにも同じセットを期待してしまう。

でも、AIの中では、このふたつは、完全に別の部品なのです。

人間が怪しい文章を読んだとき、頭の中で何が起きているか、思い出してみてください。「よし、この文章の論理を検証するぞ」と腕まくりする前に、もう「……なんか嘘くさいな」と感じていませんか？読んだ瞬間、考えるより【先】に、です。

あの「なんか嘘くさいな」は、整頓された「論理」ではありません。「直感」という名の「警報」なんです。焦げくさい匂いに気づくのと同じで、火元を探すより先に、自分の鼻が勝手に教えてくれる。しかもこの警報、脳の持ち主は努力したつもりすらありません。常時、勝手に鳴る。そして偉いのは、「警報」が「どのへんを調べればいいか」まで、膨大な事象の中から極限まで絞り込んで教えてくれることです。「価格のわりに話がうますぎるぞ」「この記事、書いた人が売る側では？」…そんな、誰でも気づく、ありがちな疑念にたどり着く時点で、実は私たちは膨大な事象の中から問題を極限まで絞り込むという、機械にとっては奇跡のようにすごい離れ業をやってのけているんです！

意識の上ではばらばらのままの、私たちが、毎日、毎日、何十年も、詰みあげ続けた、情報や経験の無数のかけら。それを、無意識が巧みに組み合わせ、怪しい場所を絞り込み、勝手に推理までしてくれる。ほとんどは一瞬の間に！そしてパッと、警告ランプが灯る。私たちは、勝手に灯った警告ランプが見える場所だけを集中して掘るだけ。

それが、AIくんにはない、人間ならではの『直感』なのです。

参考：

ではこの警告ランプは、どこから来たのか？おそらく、私たちひとりひとりの、いままでの人生すべてからです。

ほら、生まれたての赤ちゃんにはこのランプは灯りませんし、この道３０年のプロには灯るけど、素人には全く灯らないランプーーープロの勘、って話、よく聞くじゃありませんか。長年、同じ海で、経験を積んだ漁師さんが天気予報より正確に嵐を予感する、みたいなやつ。あれです。

その警告ランプが、ごくふつうの人の、そこそこの日常を送るだけのためにも、膨大な量、使用されています。車に轢かれずにいつものように会社に辿りつく、程度の事のために。

私たち人間はそうやって、瞬間的に、無数の情報の真偽や重要度を見抜き続けながら生きているんです。機械のAIにはまねできない驚異的な精度とスピードで！

もちろん、おおざっぱにではありますし、間違うこともありますけど。

私たちは実際にお金を払い、実際に損をして、実際に「うまい話」に一度は引っかかって、体で相場を覚えてきました。100円で買えるおもちゃの限界を、体が知っている。売る側には売る側の動機があることを、痛みで知っている。あの一瞬の「嘘くさいぞ」は、そういう経験の総決算が、意識に上る前に済ませてくれる答え合わせなのです。

AIには、この警報を鳴らす『直感』という名のセンサーがありません。

なぜって、AIは、何かを買ったことも、損をしたことも、うまい話に泣かされたこともない。今までも、これからも。だから、警告ランプの灯しようがないんです。AIにとって、流暢に書かれた本当の話と、流暢に書かれた嘘の話は、文章の手ざわりとしてはほとんど同じに見えています。

AIの『ふわっとモード（要約モード＝システム1）』が見ているのは「この世によくある文章っぽいかどうか」だけだからです。

「世界の事実として、ありうるかどうか」ではないからです。

「じゃあ、検証モード（システム2）をAIが自分で起動すればいいだけじゃない？」と思いますよね。

ここが最後の、そして一番大事なからくりです。

AIの検証能力は、たしかに、すさまじく、高い。ただしそれは「ここを調べて」と指定されたときの話なんです！

ちいさな懐中電灯を想像してください。照らした一点は、明るく、細部まで見える。でも、部屋のどこが怪しいかは、照らしてみるまでわからない。数階離れたフロアから、下手をしたら別のビルから、流れ込んでくる焦げくさい匂いでどこが燃えているのか『当たりをつける』ことが、人間と違って、AIくんには、できない。となると、自力で嘘を見つけるには、部屋じゅうの何百か所を、小さな懐中電灯で片っ端から全部照らすしかないんです。一か所ごとに普段の何十倍も頭を使う検証を、文章の全箇所でやる。計算量が爆発して、現実的には不可能です。

ここをもう少し掘り下げます。

たとえば。「そんな事ないよ？自分はよく、AIに文章校正させてるよ。AIは私が細かく指定しなくても自分からいろんな矛盾をちゃんと見つけだしてくれるぞ？」と思われるかもしれません。

確かに、現在、AIの検証は「１万字の文章内」など閉じた論理空間であれば、しかも「校正して」など、人間が問いを絞り、手動で起動をかければ、自分からそこそこ「矛盾」を発見できるようになっています。でも、なぜできるかというと実はAIはその１万字を「校正」という限定されたテーマに絞って、舐めるように徹底チェックしているだけだからなんです。

しかも「文章が一般的なコンプライアンスに違反してないか？」など、１万字の論理空間から少し逸脱したチェック、つまり１万字の外の「広い世界」に少々足を踏み入れたチェックすら――浅くであれば――できていたりします。

ところが。AIは、人間に「買い物」や「人生相談」のような質問をされると、検証モード(システム2)の自動発動が不可能なのです。

なぜなら、「買い物」や「人生相談」という問いで検証するべき範囲はAIにとってはもはや「世界全体そのものに近い広大すぎる範囲」だからなんです。

つまり、こういうことです。

人間は「どこが怪しいか」を直感で感じてから、そこに絞って検証する。AIは「どこが怪しいか」を感じる器官がないので、検証すべき場所と問いを限定されない限り、ありとあらゆる膨大な箇所のどこを検証すればいいか解らない。

矛盾に気づくためには、まず先にその箇所を検証しなければならない。でも検証は、気づいた後にしか始められない。

この【鶏と卵を巡る円環の中に、AIは閉じ込められている】のです。

人間は２４時間３６５日、日々、この輪を「直感」という反則技で外から断ち切っているのですが、小さい頃から、誰もが、あたりまえのこととして、あまりにも自然にやっているので、それが超高等技術だと、自分で気づいていないのです！

3　AI時代の、読み書きそろばん

だから、私たちがAIに質問を重ねて「その根拠は？」「反対意見は？」「一時ソースは？」とツッコミを入れる行為。あれは、余計な作業なんかじゃありません。

人間は超得意で、AIには(少なくとも広い実世界に対しては)絶対的に欠けている「間違い感知センサー」を人間がAIに貸してあげるという、

AIに力を引き出させるための最も肝心な行為なのです。

だから、私はこう思っています。

天気、珍しいサボテンの育て方、確定申告の計算式、古い家電のエラーの直し方。

こういう、誰も嘘をつく動機がほぼない分野では、そんなしつこい問いなんか繰り返し立てなくても、検証なんかしなくても、AIは1発で素晴らしい答えを出してくれます。

例えば、「珍しいレアレアなサボテンの種蒔きのコツ」。

AIなら、メキシコ・ヨーロッパ・韓国などなど、色んな国で現実に栽培してる人の詳しいブログや論文を、たちまち世界各国から集め、翻訳して上手くまとめてくれるんです！

私のスマホに入ってるようなふつうのAIが、です。

それはもはや革命です。

一方で、買い物、投資、保険、健康食品、プロパガンダ。

誰かが莫大なコストとお金をかけて情報の海を汚している分野では、AIの第一声は真実ではなくただの『一番声の大きいコマーシャルの要約』かもしれないぞ、と、一度立ち止まってみてください。

人間側で、違和感を探し、検証してみてください。

この

【人間ならではの直感で違和感を捉え、AIの答えに、的確な問いで繰り返し挑み、検証する力】

これこそ、たぶん、これからのAI時代の「読み書きそろばん」なのだと思います。

ニャニョーヌ自薦記事集へ戻る

ーーーーこの先は画像集ですーーーーー