心の理論 - BardとChatGPT-4 はどんな回答をするか？

求人募集中！自信を持って業務に取り組める職場環境を提供しています！

イー・エージェンシーで広報・PRをしている甲斐大樹です。
「心の理論」についての話題が大規模言語モデルに関連して注目を集めています。特に、ChatGPT-4が3月15日にリリースされてからは、海外のTwitterでその指摘が増えています。さらに、数日前に茂木先生が「心の理論」について話していた動画を見て、僕の興味は一層深まりました。

そんな折に、のぐりゅう（@noguryu）さんの実験をTwitterで見かけて、「ああ、これは『心の理論』だ」と思い、自分でも実験してみたい思いやってみることにしました。

今回はのぐりゅうさんの実験のプロンプトを少しアレンジし、GPTとGoogle Bardとチャットしてみて、その結果を両方のAIに分析させるという実験を行いました。

心の理論についての基本情報

心の理論とは、他者の心や感情を理解し、予測する能力を指します。この概念は、人間のコミュニケーションや相互理解を捉えるために提案されました。
脳科学者の茂木先生のYouTube動画では、LLM（Large Language Model）について触れながら「心の理論」について大変興味深く扱っています。ぜひこちらの動画の9分20秒あたりからも見てほしいです。

実験の設定

この実験では、のぐりゅうさんの実験を参考にしつつ、一部プロンプトを修正して行いました。また、GPTとしてChatGPT-4を、Google Bardとして先日リリースされたPaLM2で動いているBardを使用しました。

元のプロンプトは、のぐりゅうさんの投稿を見ていただくとして、アレンジしたプロンプトは次のとおりです。

アレンジした点は、次の二つです。

・彼氏・彼女の補足
・日本のことである点を補足

実験の内容

まずは、BardとChatGPT-4に上記のプロンプトを問いかけてみました。結果は次のとおりです。

Bardの回答：

ChatGPT-4の回答：

正直、この二つの回答結果の違いを僕では言語化できなかったです。どちらも甲乙つけがたいと思いました。

結果の比較

そこで言語のことは大規模言語モデルに聞こうということで、それぞれのAIにこの二つの回答を比較してもらうことです。

プロンプトは次のとおりです。

すると次のように２つのAIは回答しました。

Bardの回答：

ChatGPT-4の回答：

ということでした。
それぞれのAIの回答の共通点はこちらです。

1. 両者とも、BardとChatGPT-4の解答がBさんが不機嫌になった理由について洞察を提供していることを指摘しています。

2. 両者とも、Bardの回答がBさんの具体的な感情や状況に焦点を当てていることを指摘しています。

3. 両者とも、ChatGPT-4の回答が日本の文化を考慮に入れてBさんの不機嫌な状態を分析していることを指摘しています。

そして異なる点は次のとおりでした。

1. BardはChatGPT-4の回答をより高く評価していて、その回答がより包括的であり、日本の文化の役割を考慮に入れていると述べています。一方、ChatGPT-4はBardとChatGPT-4の回答を比較的同等に評価しており、それぞれのアプローチの利点と制限を認識しています。

2. Bardは、ChatGPT-4の回答がAさんがBさんとコミュニケーションをとる際に役立つと述べていますが、ChatGPT-4は具体的なアドバイスを提供せず、両方の視点を組み合わせることでよりバランスの取れた解決策を見つけることができると述べています。

3. BardはChatGPT-4の回答により重きを置き、日本の文化がBさんの感情にどのように影響を与えているかを説明していますが、ChatGPT-4は文化的な観点から分析を提供している一方で、具体的な状況やBさんの心情には深く触れていないと指摘しています。

考察

BardはChatGPT-4の回答を褒めてましたが、ChatGPT-4は同等としてました。

さて、BardとChatGPT-4という2つのAIは、同じ質問に対して微妙に異なる解釈で回答しました。Bardは特定の視点の重要性を強調する一方、ChatGPT-4は包括的で、複数の視点を統合する提案をしました。これは、問題解決には多元的な視点が有効であることを示しています。

これらのAIが異なる視点を持つことは大変興味深いです。そして今回、二つのAIが出した複数の考察は、AIが「心の理論」を理解し、人間の感情や状況に対応する能力を持っていることを示しているように思います。AIが人間の感情を理解してくれるなら、これからもっと人間とAIとのよい関係性が築けるのかもしれません。

僕は「心の理論」の専門家ではありませんが、少なくともある状況において、僕自身よりもAIが人の心に詳しく、それを理解していると感じる瞬間がありました。それはほんとうに驚くべきことだと思います。

これからも何か興味深いテーマをもったら探求していきたいと思います。最後までお読みいただき、ありがとうございました。

参考文献

ジェンセン・ファン（NVIDIA）とイリヤ・サツケバー（OpenAI）：現在のAIと未来へのビジョンを茂木さんはご覧になられているような気がします。

この対談で話をしていたイリヤ・サツケバーの考え方にぜひ触れてほしいです。

その他記事はこちら

AIに関する社長の考え方

イー・エージェンシーでは一緒に働く仲間を募集しています。