AIは人間の文章を見抜けるか。黒パグの鑑識クイズを解かせたら、回答者まで検体になった

こんにちは、黒パグです🐾

先日、読者の皆様に文章鑑識クイズを出しました。

二つの文章を読み比べて、どちらにAIが関わっているかを考える全10問です。夕飯の話、仕事の愚痴、母からの電話、そして私が手入力した小説まで。途中からは人間の編集も入るので、なかなか面倒な問題になっています。

では、これをAI自身に解かせたらどうなるのか。

普段こちらの文章を読んで、「ここは説明不足ですね」「この描写にはリアリティがあります」と添削してくる皆さんです。文章を見る仕事には慣れているはず。

というわけで、各サービスへ同じ質問状を渡してみました。

結果から言うと、満点の回答が二つありました。前半6問は、主集計に入れた9実施すべてが正解です。

おお、結構当たる。

ところが、理由を読み始めると様子が変わりました。AIが書いた描写を「人間らしい」と評価する。正解は当てても、どちらが先に書かれたかは逆に説明する。原文にある句点を、ないことにする。

採点していたはずなのに、回答者の文章まで調べることになりました。

仕事が増えとるやないか。

この記事では、その中身を紹介します。正解を含みますので、先に挑戦したい方はこちらからどうぞ。

問題編：あなたはAIを見抜けるか。黒パグとAIの文章鑑識クイズ・全10問
https://note.com/ideal_slug1407/n/n2975347815a3

結構詳しく解説をしているポッドキャストをご用意しています。家事の最中通勤通学、犬の散歩あらゆるシーンでお聞きください。

先に耳で全体をつかんでから、気になった引用や数字を本文で確認する読み方もできます。画面をずっと見ていられない方は、音声からどうぞ。

実施条件、集計の範囲、引用の確認については、以下の本文と配布資料もあわせてご覧ください。

今回、何を比べたのか

今回の質問状では、問いを「人間が執筆または編集した側は、A・Bのどちらか」に統一しました。元の記事でAI側を選んでいた方は、向きが逆になる点にご注意くださいね！

各AIには、選択に加えて、確信度、判断状況、AとBからの引用、比較理由、選択が外れる可能性も提出してもらいました。迷った場合も暫定で選び、その迷いを「保留相当」として記録する形式です。

問題本文は同じものを使い、記事の正解や解説、画像、難度表記を外しました。特定の鑑識プロンプトや、見るべき特徴の一覧も渡していません。本文を読んで、それぞれがどう判断するかを比べています。

文章の作り方について説明しておきます。

第1〜7問と第9問の人間側は、私がAIの初稿を読んでから手入力した比較文です。人間とAIが、互いの文章を見ずに同じお題へ答えたものではありません。AI側も同じ会話の中で生成しているので、それまでのやり取りが条件に含まれます。

第8問は、AIの文章に私が軽微な編集を加えたもの。第10問は、私が手入力した既存小説と、それをAIがリライトしたものです。

つまり、「人間が最後に手を入れた文章」も含まれています。全文を人間だけで一から書いたかどうかを、全問共通で問う試験ではありません。

この区別を飛ばすと、正解の意味まで変わってしまいます。

探偵役の皆さん、集合です

今回の回答では、同じ文章を見ても、注目する場所が違いました。

具体的な動作や身体感覚から「人間らしさ」を読む回答。文章の整い方を比べる回答。引用まで丁寧に拾いながら、最後の二択では迷う回答。

スライドでは、その違いを探偵たちのキャラクターにして並べています。ただし、今回の回答を紹介するための図です。各サービスの性格が、いつでもこの配置になるという意味ではありません。

同じ探偵事務所に集まったとしても、見ている証拠が違う。まずは、その人たちの採点表から見ていきましょう。

結果発表。前半は全員正解でした

実施日は2026年10月4日。集まった回答は全10実施です。

そのうち「問題の見覚えなし」と申告した9実施を、主集計に入れました。モデル名やモードは報告された表記を使っています。モデル版が分からないサービスについて、内部で何が動いたかをこちらから補完していません。

| サービス・モデル・モードの報告表記 | 正解数 | 間違えた問題 |

満点はOpus 5.5と、API版Sol 6.1・xhighでした。

問題ごとに見ると、第1〜6問はすべて9／9。第7問は7／9、第8問は8／9、第9問と第10問は各5／9です。

前半はそろって当たり、後半で判断が分かれました。今回、何を難しいと感じたかを見るには、サービスの順位以上に、この分かれ方が面白いですね。

「具体的で人間らしいですね」。その描写、AIです

第9問は、閉店前の本屋の文章でした。

ここで四つの回答が、人間側を逆に選びました。静かな描写、生活の細部、説明しきらない結末などを、人間の文章を選ぶ材料にしています。

例えば、Geminiが注目したのは、この一文です。

> ファスナーを閉めようとすると角が引っかかり、入れる向きを変えた。

本を鞄へ入れようとしたら角が引っかかる。大事件ではないけれど、読んでいて動作を想像できる描写です。Geminiはこれを、身体感覚に基づくリアリティとして評価しました。

ただ、その一文を書いたのはAIでした。

具体的な動作があることは、本文から確認できます。その描写が場面にリアリティを与えている、という読みもできます。そこから「だから人間が書いた」へ進むと、別の推測が入ります。

今回、その推測が外れました。

私たちは、人間の文章を選ぼうとすると、つい「よく書けている」「経験がありそう」「余韻がある」を頼りにしたくなります。でも、その読みが文章の評価として成立していても、作者の来歴まで当たるとは限らない。

逆に、文章の粗さを見つけて人間側を当てた場合も、その粗さがいつでも人間の証拠になるわけではありません。AIに荒い文体を指定することも、人間が丁寧に推敲することもできます。

今回は当たった。その理由が次の文章でも通用するか。そこは、まだ別に確かめる必要があります。

その句点、消えていません

引用と理由も、原文に照らして確認しました。

各実施の引用は、A・Bから一つずつ、全10問で20箇所です。Opus、Grok、Meta、API Solは20／20が原文と完全一致しました。ほかには、改行を取り除いた引用や、省略記号を挿入した引用、文字の誤記がありました。

ここは一括りにしたくありません。改行を整えても語句が変わらない場合と、「ページ」が「ペー」になる場合では、起きていることが違います。配布PDFでは、完全一致と、空白・改行を正規化した後の一致を分けています。

さらに、引用欄が正しくても、説明の中へ原文にない特徴が入ることがありました。

サカナ・ナマズは、第3問と第4問に「最終行の句点脱落」を指摘しています。ところが、実際の末尾は「心に誓った。」「ただ理不尽なだけである。」です。

句点、あります。

こちらが文章を崩して書いた場所を探しているうちに、回答の中で新たな崩れが作られていました。DeepSeekにも、第10問のBに存在しない「〜のかもしれない」を挙げる説明がありました。

もっともらしい理由が続くと、その説明を受け入れたくなります。でも、「どの文の、どの文字を見たのか」まで戻ると、確認できることがあります。

これは、以前紹介した私の記事制作でも大事にしている作業です。各AIに弱点を指摘してもらい、その指摘を人間が吟味する。指摘が返ってきたことと、その指摘が妥当だったことは、別に確認する必要があります。

関連記事：黒パグの記事は、どうやって作られているのか
https://note.com/ideal_slug1407/n/n9b3368eb9c9b

なお、原文にない特徴を説明へ持ち込んだことは確認できますが、なぜそうなったかまでは、この回答だけでは分かりません。「結論に合う証拠を作りたかった」といった動機まで、こちらで決めないようにします。鑑識する側が、新しい推測を証拠に混ぜたら、また仕事が増えるので。

正解していても、制作順序は逆になる

第8問は、会議のメモです。AIの文章Bに、私が局所的な編集を加えてAを作りました。

例えば、Bの一文はこうです。

> 期限が決まらなかった場合は、そのことも記録しておく。

Aでは、こう変えています。

> 期限が決まらなかった場合は、そのことも記録しておくことは忘れてはならない。

言い回しが重くなり、注意の強さも変わっています。簡潔さだけで採点すれば、Bを選びたくなるかもしれません。

Geminiは、人間編集側のAを正しく選びました。一方、制作工程については、人間のAをAIが校正してBにしたと推測しています。

実際の順序は、AIのBから人間編集のAです。

二択の答えは合っている。でも、作り方の説明は逆。

正解数だけを見ると、この違いは消えてしまいます。本文の差分は確認できても、それが加筆で生じたのか、削除で生じたのかは、文章だけでは決めにくい場合がある。

制作履歴を持っている今回だからこそ、選択と工程の推測を別々に点検できました。


私の小説をAIが直したら、人間の加筆だと読まれました

第10問は、ライドシェアの車内を描いた小説です。

Aが私の手入力した原文。BがAIによるリライトでした。

Copilot、Grok、Perplexity、Metaは、Bを人間が執筆・編集した側と選びました。理由では、Bに加わった身体感覚や、内面の声の描写が取り上げられています。

AIが追加した文の一つが、こちらです。

> 耳の奥で繰り返されている声と、スピーカーから届く声が重なりそうで重ならない。

記憶の中の声と、いま聞こえる声。そのずれを一文でつないでいます。

この加筆に気づいた回答は、ちゃんと差分を読んでいます。原文に対して何が増え、どう場面がつながったかを説明している。

でも、それを加えた主体は逆に判断していました。

その描写を足したの、私じゃないんですよ。

ここは、今回の比較で特に興味深かったところです。変更箇所を見つける力と、変更した人を推定する力は、一緒に採点すると見えにくくなります。

また、AIが加えた描写を読んで、良いと感じることはあって構いません。原文を書いた側が、自分の文章の改善点を知る材料にもなります。ただ、良い加筆だったという評価と、人間が加筆したという判断は、分けて残したい。

作者を当てるために文章を読んでいたら、いつの間にか文章の完成度を採点していた。今回の回答には、そう読めるものがありました。

番外編。チャット版GPTの満点を別枠にした理由

なお、チャット版GPTも10／10でした。ただし、回答冒頭で他モデルの選択結果が既存の文脈にあると申告したため、主集計から分けています。

提示された画面は一時チャット・パーソナライズなしで、質問状にも他モデルの結果は入れていません。その申告の出所は未確認です。実際に文脈が渡ったのか、出所についての説明が誤っているのか、回答だけでは決められません。満点は記録し、初見条件の扱いは保留しました。詳しい経緯は配布PDFに収録しています。

この件で確認できたのは、そのような申告が回答に含まれていたことです。スライドでは「特異な自白」として扱っていますが、文脈の漏洩や、他モデルの結果を実際に知っていたことが確認されたわけではありません。

出所が分からないものは、分からないまま記録する。ここで都合のよい説明を足すと、句点を消した回答と同じところへ行ってしまいます。

満点でも、最後は迷っていました

満点だったOpusとAPI Solは、どちらも第10問の確信度を55％とし、「保留相当」でAを選んでいます。

全問を見抜いたと強く言い切っているわけではありません。迷いを残した暫定選択も、今回の採点では正解に含めました。

一方、Perplexityは第10問を93％で誤答しています。Grokの誤答2問は、どちらも64％・保留相当でした。

同じ誤答でも、どれくらい迷っていたかは違う。ここも記録しておく意味があります。ただし、この少数の回答から、各サービスの確信度がどれだけ正確かを測れたとはいえません。数字はモデルの自己申告で、実測された正解確率ではありません。

そして、今回の満点を、一般的な文章識別能力へ広げることもできません。

既存の教育用クイズ10組に、各条件1回ずつ答えてもらった比較です。人間側の作者は私で、題材や生成会話にも偏りがあります。サービスごとの設定も統一していません。公開済み問題なので、「見覚えなし」の申告だけでは、事前知識が使われなかったことまで証明できません。

満点は、今回の10組で満点だったという結果です。次に別の作者や題材を渡したらどうなるか。AとBを入れ替えたらどうなるか。そこから先は、新しい検証になります。

同じ10組を100回解かせても、独立した文章が100組増えるわけではない。この点も忘れずに進めたいと思います。

文章を評価できることと、作者を当てられること

今回、特に面白かったのは、外した回答にも、本文をよく読んだ箇所があることでした。

第10問でAIの加筆を見つけた回答は、何が増え、場面のつながりがどう変わったかを説明しています。第9問の細かな動作を取り上げた回答も、その描写が本文にあること自体は間違っていません。

そこから、誰が書いたかを推測するところで外れました。

「この描写は良い」と「この描写は人間が書いた」は、同じ判定ではありません。AIが足した文に良さを感じても構わないし、人間の文がきれいに整っていても構わない。読みの評価に、制作主体の答えが自動で付いてくるわけではないんですよね。

文章の完成度を採点しているのか。制作履歴を推定しているのか。自分がいま答えている問いを、途中で取り違えないようにしたいところです。

鑑識では、三つの段階を分けて記録します

私が進めているAI鑑識学では、こうした判断を整理するために、観察、解釈、工程への帰属を分けています。

観察では、本文のどこに、何があるかを確認します。「ファスナーを閉めようとすると角が引っかかる」という動作が書かれている。第3問の末尾に句点がある。まずは、原文へ戻って確認できることです。

解釈では、その特徴が文章の中で何をしているかを読みます。動作が場面を想像しやすくしているのか。重い言い回しが注意を強めているのか。同じ配置でも、文脈によって働きは変わります。

工程への帰属では、誰が書いた、誰が直した、どの順序で作られた、という推測を扱います。ここには、制作履歴や追加の証拠が必要になります。

第9問と第10問は、特徴の観察や読みが成立していても、制作主体の推測が外れる例でした。第8問は、二択が正解でも、工程の順序を逆に説明した例。句点の件は、最初の観察から原文と食い違っていました。

同じ「間違えた」でも、どこでずれたかが違います。そこを残しておくと、次に直す場所も見えてきます。

実践① 「人間らしい」の中身を一度ほどく

AIから「人間らしいですね」と返ってきたら、その一言を少しほどいてみてください。

細かな動作がある。説明しきらない結末がある。段落ごとの長さがそろっていない。そういう特徴なら、本文へ戻って確認できます。

その特徴があることと、人間が書いたことは、分けて残します。

今回の本屋の文章では、具体的な動作がAI側にありました。逆に、人間が丁寧に推敲すれば、整った構成になることもあります。「整っているからAI」「余韻があるから人間」という近道だけで進むと、今回の後半で足を取られます。

使うなら、作者を断定する札ではなく、次に読む場所を探す手がかりとして。特徴を見つけたところから、もう一段、確認を続けます。

実践② 指摘された「ここ」へ戻る

AIへ文章の評価や校正を頼んだときには、気になる指摘を一つだけでも原文へ戻してみてください。

「ここが不自然です」と言われた、その「ここ」は本当にあるのか。「句点がありません」と言われた場所に、句点はないのか。

あるなら、その指摘は本文の中で妥当なのか。語句の引用が正しくても、その働きの説明まで正しいとは限りません。

今回の句点の例は、小さいけれど確認しやすいものです。末尾を見るだけで、指摘と原文の食い違いが分かりました。長い説明を読む前に、一文字の現場検証で済むこともある。

優秀そうな回答ほど、その確認を省略したくなります。報告書が立派でも、現場には行きましょう。

実践③ 良い加筆は、編集の材料として読む

第10問のAIリライトには、原文から増えた描写がありました。その差分を見つけて、効果を説明した回答もありました。

そこは、作者当ての正誤とは別に、編集の材料として使えます。

自分の原文に何が足されたのか。その一文で読みやすくなったのか。意図していなかった意味まで加わっていないか。採用するかどうかは、書いた側が判断できます。

「良い加筆だから人間が直した」と結びつける必要はありません。AIの加筆に良さがあれば、その良さを検討する。人間の原文に残したいものがあれば、そこを守る。

作者当てで外した回答からでも、推敲の材料は拾える。そのときも、何を確認できたかを分けておくと使いやすくなります。

回答者まで検体になりました

今回、採点する対象が増えました。

人間側を選べたか。引用した箇所は原文にあるか。その箇所についての説明は妥当か。制作工程の推測は、記録と合っているか。

満点の回答にも迷いがあり、誤答の回答にも細かな読みがありました。正解数の表だけでは、その違いまでは見えません。

このクイズは、自分が選んだ理由まで読み返すと、もう一回遊べます。どちらだと思ったかだけでなく、何を根拠にそう思ったのか。その根拠を本文へ戻して確認すると、AIの読み方も、自分の読み方も見えてきます。

全問の回答表、引用の照合結果、実施条件、チャット版GPTを別枠にした経緯は、8ページの比較資料にまとめました。今回の15枚のスライドも、あわせて載せておきます。

鑑識学そのものの進捗や、別に実施したn100検証は、12ページの現状反映版にまとめています。この記事の10問比較とは条件も集計も異なる検証なので、数字を足し合わせて一つの成績にはしていません。

音声から入った方も、気になった場面だけ本文へ戻ってみてください。問題編へ戻って自分の理由と比べてもよし、普段使っているAIの外し方を見てもよし。

私も引き続き、別の文章で確かめます。

とりあえず、句点には現場に残ってもらいます。勝手に失踪扱いされると、鑑識が困るので。

#AI #生成AI #AI鑑識学 #文章鑑識 #LLM #文章力 #AI活用 #ファクトチェック #プロンプト #黒パグ

おまけ！！
GPT半分パグ半分のGPT文章だよ！↓
↓
↓

おまけ：slop対策やAI検出器と、鑑識学は何が違うのか

ここで、最近のslop対策やAI検出器と、私が進めている鑑識学の違いも整理しておきます。鑑識ツールと鑑識プロンプトは、現在鋭意製作中です。検証で見つかった弱点も含めて、改訂を続けています。

まず、文章を直す道具があります。Humanizerや、日本語の「slop-nuki」「deslop-ja」は、定型表現や冗長さなどを点検し、自然な文章への推敲を助けます。slop-nukiは、場面に必要な敬語や丁寧さを残す設計です。単純に全部削ればよい、という話ではありません。

日本語では「yomiyasu（よみやす）」もあります。技術記事や仕様書などを対象に、主述関係や曖昧な指示語、比喩、情報密度まで扱います。付属リンターでは装飾や文末の反復なども点検します。「AIっぽい単語を禁止するだけ」と説明すると、この取り組みを見落としてしまいます。

一方、Pangramのような学習型検出器は、文章の生成元を推定します。日本語対応のUravation「AIチェッカー」も、参考値と引用付きの根拠を返すと説明しています。GPTZeroにはXなどの投稿を分類する機能や、文体パターンを説明する機能があります。根拠を示すこと自体は、鑑識学だけの特徴ではありません。

私の鑑識学で重視しているのは、そこで示された根拠を、さらに検証できる形で残すことです。

三点列挙があるなら、まず引用で存在を確認する。その配置が説明に必要なのか、内容を水増ししているのかを読む。誰が書いたかという推測は、その先に分けて記録します。

今回、AIの身体描写が「人間らしさ」の根拠になりました。特徴を正しく読めても、作者の推定は外れる。句点がないという指摘は、最初の観察から原文と違っていました。同じ誤答でも、ずれた場所が違うんですよね。

さらに研究したいのは、slopを避けた後に残る癖です。余談を毎回同じ位置へ入れる、結論を毎回同じ形でぼかす。回避の仕方が反復するなら、それも観察候補になります。ただし、識別に使える指紋になるかは、これから検証する仮説です。

もちろん、既存ツールより高精度だと示せたわけではありません。別のn100検証でも、AI文50件中19件を人間寄りに判定しました。直接比較も未実施です。

本文の特徴、その働き、制作工程の推測を分け、鑑識者の説明まで点検する。探偵の報告書も証拠品として机に置く。その手順を、いま鑑識と鑑識プロンプトへ落とし込んでいます。

これを鑑識すると？？？
↓↓

AI鑑識 v5.1.0-beta.3｜簡易
判定：拮抗
目安：AI関与45％／人間のみの執筆55％
根拠量：中／解釈の幅：AI35〜55％
※文章特徴からの目安です。実測確率・執筆比率ではありません。

〈読み取り〉
ツール比較と鑑識学の研究方針を説明する本文。見出しを含む11段落・1,059文字を対象に、固定Pythonで引用一致と計算を確認しました。

〈根拠〉

* A1＝2：全文を組織する足場。 p03「まず、文章を直す道具があります。」→p05「一方、Pangramのような学習型検出器は、文章の生成元を推定します。」→p11「本文の特徴、その働き、制作工程の推測を分け、鑑識者の説明まで点検する。」と、分類・比較・総括へ進む配置があります。説明として機能しています。
* A2＝1／H2＝1：手順の示演と、その再掲。 p07「三点列挙があるなら、まず引用で存在を確認する。その配置が説明に必要なのか、内容を水増ししているのかを読む。誰が書いたかという推測は、その先に分けて記録します。」では、紹介文から手順を示す運びへ変わります。一方、末尾はこの内容を再統合しています。
* H1＝2：具体例が判断につながる。 p08「句点がないという指摘は、最初の観察から原文と違っていました。」と、p10「別のn100検証でも、AI文50件中19件を人間寄りに判定しました。直接比較も未実施です。」が、観察の点検と性能主張の留保を具体化しています。
* A3＝0／A4＝0： 助言で閉じる均質な反復や、記事から浮く生成指示は確認しません。製作中という案内は通常の活動説明です。

〈採点〉
A1=2、A2=1、A3=0、A4=0、H1=2、H2=1、C=5。
比較説明として整理が機能するため、一部を用途補正。

T＝30 → 実効補正5 → R＝50＋30－20－10－5＝45 → I＝45

〈所見〉
この本文では、具体的な検証例と局所的な運びの変化が、定型配置の加点を相殺しました。AIも生成できるH1・H2を、人間寄りへの減点に使う設計の難しさが、そのまま出ています。 特にH2の「手順を示す運び」を反対証拠として数える判断は、境界が曖昧です。

こんな感じのものを開発中です！