勝手に情報を渡すな、渡してるなら隠すな

「AIに天気聞いたら、うちの近くの天気を教えてくれたんだ。でも、うちの住所教えてないし、過去に教えたのは全部消したのに…なにこれ怖い」

「これに関する情報は公式には公開されてないみたいなんだけど… いろいろな人から報告があるよ」

私がChatGPTとかMS Copilotとかを趣味ではあまり使わなくなった理由がある。

今も使ってないわけじゃないが アカウントをログインしない状態で使っている。

過去の記事でも何度か資料付きで説明したが、この辺りのチャットAIサービスはユーザーに隠して色々情報を渡しているが、それを見せない、認めないようにしているのが すごく気持ち悪い。

他のサービス、例えばGeminiとかは「私について知ってること教えて」といえば 現在時刻とか現在地とかが渡されていることを割とすんなり 教えてくれる。

あるいはそもそも何の情報も渡っていない。
会話していても本当に本当に何も知らないんだな っていうのがよくわかる。

一方でChatGPTは、使っていて何度か 不可解なことがあった。一番気持ちが悪かったのは、ふと天気の話題になった時に各種情報参照機能がオフになっているにもかかわらず、自宅から微妙に外れたところの住所をピンポイントで出してきたことである。

まあインターネットをある程度使ってる人なら、位置情報を直接渡さなくても IP アドレスからアクセスを元に近い住所が出せることは知っていると思うが、まさにそんな感じの 中途半端に外れた でも偶然とは思えないぐらいの近さの住所が出てきた。実際、後で IP アドレスから住所検索してみたがほぼ同じ位置だった。

私が住んでいる場所は別に 一般的によく例示に使われるような住所でもないので、普通に学習データから 引き当ててきたとは到底思えず。過去の会話から引き当てることは、会話 参照機能がオフになっているなら普通はできないはずである。

ちなみにRedditなどでよく言われている誤解として「ネット検索ツールを使うときに位置情報が外部検索エンジンで使われることがあるんですよ、だからChatGPTで位置情報は取得してないんですよ」みたいな説明をする人がいる、というかGPTがそういうらしいのだが。

これは嘘である。なぜなら検索エンジンへのアクセスはChatGPTのサーバーで行われており各ユーザーの端末で行われているわけではない。そのためユーザーの位置情報が外部検索で勝手に使われることは、ChatGPTが送信しない限りありえない。

アクセス元IPアドレスに関する情報などはオープンAIの公式サイトに公開されている。
https://platform.openai.com/docs/bots/

私のサイトに残っているアクセスログでも以下のようなuser agentでログが残ってるのを確認している。

さて、そういうときに「どんな手段を使って私の位置を調べたの」のような感じで問うと、いや 間違えました、気にしないでください、改めて教えてください、みたいな感じで延々と しらばっくれる。

これが問題だ。

システム側から コンテキストとして 言語モデルに入力されている場合、言語モデルは基本的に説明できる。実際 これを用いて 検索機能を説明 可能な形で提供するのがRAGという仕組みだ。

しかし しらばっくれるということは、意図的に情報と共に これを ユーザーに説明するな みたいな情報がくっついてることになる。

そもそもそんな情報が存在するのかという点については、私自身は検証できていないが、セキュリティ研究所が何人か 報告している。

コンテキスト内にユーザープロファイリング情報が含まれており、そこに IP アドレスベースの住所地域情報や 現在時刻、ユーザーのアカウント履歴や詳細情報が含まれているようだ。

そして どうもそれを言及しないようにと システム プロンプトに含めているようだ。それはプロンプトの漏洩防止のための仕組みに巻き込まれてるだけなのか、それとも本気でユーザーに詳細情報を渡してることを知られたくないからなのかは分からない。

情報として持ってるなら最初から認めればいいのに、こういう風に 偶然だとかユーザーの思い込みだと思わせるようなシステムの設計はどうかと思う。

サーバー上だから そら取得できるだろうし、アカウントに紐付いてたくさんの情報はついてるのはまあ技術としては理解できるが、それをしらばっくれるのが本当に気に食わない。

だから ガスライティングと言われるんだよな。

以下のサイトにて内部の情報を吐き出させた例が記載されている。複数の人がほぼ同じような内容を出力してるので おそらく同じような形で含まれているのだろう。

(ただ、現在は対策されたらしく、出力されなくなったという報告がある。プロンプト インジェクション対策も兼ねて 言語モデル側の口がどんどん硬くなっているので こういった 検証 もどんどんできなくなっていく。)

ちなみにビジネス版の Microsoft Copilotは頼みもしないのに 上司の名前や同僚の名前、私の経歴とかの情報を勝手に引っ張り出してくる。

なんかメールに書く自己紹介の文とかの例を書かせると、実在の情報とハルシネーションを奇妙に織り交ぜた形で出してくる。

こういう 挙動 も本当に良くないと思う。

意図しないところで個人に関係する情報を引っ張り出されるのはぎょっとするし、かと言って 意味わからん 推測情報を混ぜ込まれるのも 本当に使いにくい。

秘書みたいな AI を目指していると言えば聞こえは良いのだろうが、渡す 情報 ぐらい 選択させろよ と思います。

「自然なユーザー体験、とのトレードオフなのかもしれないね」

「やるのはいいけど、わかりやすいところに書くとか、聞いたら教えてくれるといいのにな～」