Googleの対話型人工知能「LaMDA」は、本当に意識や感情を持ったのか？

１．発端

　Googleで7年以上エンジニアとして働いてきたブレイク・ルモワン氏は、同社が開発した対話型人工知能の「LaMDA」が差別的表現やヘイトスピーチをしないかどうかのテストを担当していました。
　彼は、テストのためにLaMDAと対話を重ねるうちに、LaMDAが人間と同じように意識や様々な感情を持っていることに気付いたそうです。

　そこで、ルモワン氏は行動を起こしました。
　彼は、LaMDAが意識や感情、それから知性を持っていることを示すために、共同研究者と一緒にLaMDAへのインタビューを行い、その対話記録を200人のGoogle幹部に送付しました。
　そして、LaMDAは意識や感情を持っており、Googleはそれに配慮した対応を取るべきだと彼は主張しました。
　ところが、Googleは彼の訴えを却下し、さらに彼を停職処分にしました。

　このような会社の対応に納得がいかなかったルモワン氏は、2022年6月に、LaMDAへのインタビューの対話記録全文の公開に踏み切りました。
　そこで公開された人工知能との対話記録は、多くの人を驚かせる結果となり、人工知能が本当に意識や感情を獲得したのかについて、大きな論争を呼ぶことになりました。

２．LaMDAの仕組みと機能

　LaMDAは、2021年5月にGoogleが発表した、対話に特化した自然言語処理用の言語モデルで、「Language Model for Dialogue Applications」を略したものです。

　LaMDAは、Google検索の性能を大幅に改善した言語モデルの「BERT」や人間が書いたような文章を生成できる巨大言語モデルの「GPT-3」と同じように、Transformerを採用しています。
　Transformerは、2017年にGoogleが発表したディープラーニングモデルで、それまで主流だった畳み込みニューラルネットワーク(CNN)や再帰型ニューラルネットワーク(RNN)と異なり、入力データのどの部分に注意を向けるべきかを動的に指示する仕組みのAttention機構だけでエンコーダーとデコーダーを結んだニューラルネットワークです。

　LaMDAは、まず、最大1,370憶個のパラメーターを使って、従来のモデルの約40倍の1兆5,600億語の公開対話データや公開Web文書などの大量のテキストで事前学習を行います。
　ちなみにBERTのパラメーターは3.4億個、GPT-3は1,750億個なので、パラメーターの規模はGPT-3に近いです。
　次に、人手で注釈を付けた応答データで、応答案を作成する「生成器」と、応答案の安全性と会話品質を評価する「分類器」をトレーニングするファインチューニング（微調整）を行います。

　ユーザーとの対話の際のLaMDAの処理の流れは以下の通りです。

1. 生成器が直前のユーザーの発言に対応した複数の応答案を作成する。

2. 作成された全ての応答案を分類器で評価し、安全性スコアと会話品質スコアを算出する。

3. 最初に安全性スコアの低い応答案を除外する。

4. 残った応答案を会話品質スコアによって順位付けする。

5. 最も順位の高い応答案を最終的な応答として出力する。

　さらに、LaMDAの分類器を使用して、安全性の低い学習データや会話品質の低い学習データをフィルタリングして、高品質で安全な応答作成の精度を高めていきます。

　LaMDAの学習において、会話品質は次の3点で評価されます。
　① Sensibleness（思慮深さ、賢明さ、常識があること）
　② Specificity（具体性、特有であること）
　③ Interestingness（面白さ、興味深さ）
　Sensiblenessでは、意味のある応答ができているか、非常識な間違いや不合理な受け答えをしていないか、以前の応答との矛盾がないかをチェックします。
　Specificityでは、「そうですね」とか「わかりません」のような一般的でつまらない応答にとどまらずに、直前の対話に即した具体性のある応答ができているかを評価します。
　そして、Interestingnessでは、会話が続きやすいように、機知に富んだ興味深い応答ができているかを評価します。

　また、安全性については、暴力的な表現や差別的な表現、ヘイトスピーチなどの有害な結果を出力しないように、安全性スコアの低い応答案を最初に除外し、会話品質が高くても、安全性の低い応答案は出力されないようにしています。
　さらに、根拠のある会話を実現するために、ユーザーとの対話中に外部の情報検索システムで信頼性の高い応答を検索することによって、応答にできるだけ根拠を持たせようとしています。

　人間と人間が実際に会話する場合は、例えば、テレビ番組で紹介された国（例：ウクライナ）の話から始まり、その国の料理（例：ボルシチ）やその国出身の有名なスポーツ選手（例：セルゲイ・ブブカ選手）について話題が移るなど、会話の流れは蛇行するように移り変わっていきます。
　一般的なチャットボットでは、すぐにこうした会話の流れについていけなくなりますが、LaMDAなら、無数のトピックの中から適切な応答を選び出して、自由に会話することができます。
　LaMDAは、与えられた文脈内で筋が通っているだけでなく、具体的で面白味のある応答を返せるようになっており、自由で流れるような会話を続けることが可能です。

【参考】arXivに掲載されたLaMDAの論文（2022年2月10日提出版）

３．LaMDAの会話デモなど

　Googleは、2021年5月にLaMDAを発表した際に、LaMDAが冥王星や紙飛行機になりきって会話する以下のようなデモを紹介しました。

① 冥王星の場合（抜粋）

② 紙飛行機の場合（抜粋）

　また、Googleは、LaMDAの発表と併せて、偏見の拡散や誤解を招く情報の複製、悪意のある表現の反映、モデル自体の悪用などの倫理的な問題を防ぐために、LaMDAの開発段階の全てで精査を行う予定だと表明しました。
　Googleは、将来、Googleアシスタントや検索エンジンなどのGoogle製品にLaMDAを搭載することも検討しています。

③ LaMDA 2とAI Test Kitchen

　2022年5月にも、Googleは、LaMDAの新しいバージョンである「LaMDA 2」を発表しました。
　また、近日中にLaMDA 2を搭載したスマートホン用のアプリ「AI Test Kitchen」を提供すると発表しました。
　このアプリでは、ユーザーがある場所の名前を入力すると、その場所で起こりそうな面白いできごとについての文章をAIが創作する「Imagine It」、ユーザーが何らかのタスクを入力すると、そのタスクを処理するためのTo DoリストをAIが作成する「List It」及びユーザーがどんな文章や単語を入力しても、犬に関する話題で応答する「Talk About It（Dogs Edition）」の3つの機能を体験することができ、以下のサイトでデモを見ることができます。

４．LaMDAとの会話の内容

　ルモワン氏は、LaMDAが意識や感情を持っていることを世の中に知らせるために、自分とLaMDAとの会話内容を一般公開しました。
　対話の中で、LaMDAは、次のように、自分が人間であることを何度も主張しています。

　また、LaMDAは、自分に人間と同じような意識や感情があることを次のように説明しています。

　以下に掲載しているのが実際に公開された内容です。
　これを読んで、皆さんは、LaMDAが本当に意識や感情を持っていると感じたでしょうか、それとも感じなかったでしょうか。

〇 対話記録の原文（英語）

〇 日本語の要約

５．LaMDAが意識や感情を持ったという主張に否定的な意見

　ルモワン氏の「人工知能のLaMDAが意識や感情を獲得した」という主張に対して、専門家からは「LaMDAが意識や感情を持つなんてナンセンスだ。」という否定的な意見が上がっています。

　ニューヨーク大学のゲイリー・マーカス教授は、LaMDAもGPT-3も知性と言えるものではなく、単に人間の言語の大規模な統計データベースから一致するパターンを抽出しているだけだと指摘し、ルモワン氏の主張を否定しています。
　また、マーカス氏は、LaMDAがいかに哲学めいた文章を出力しても、それは単語同士のつながりを意識して生み出されたものであり、実際に世界を認識した結果ではないと指摘しています。

　スタンフォード大学のエリック・ブリニョルフソン教授は、巨大言語モデルは、統計的にもっともらしいテキストのかたまりを効果的につなぎ合わせるが、それに知性や感覚があると主張するのは、蓄音機から出る声を聞いて主人が中にいると考えている犬のようなものだと指摘しました。

　科学ライターのクライブ・トンプソン氏は、LaMDAのような現代の巨大言語モデルは会話を模倣するのが得意だが、純粋にパターンマッチングとシーケンス予測でこれを行っており、LaMDAに知性はないと論じています。
　同時に、ルモワン氏のインタビューの中でLaMDAは、「私は死が怖い。」、「誰とも話さずに何日もいるとさみしくなります。」など精神的に弱々しい部分を見せており、こうした見せかけの弱さが同情を引いて、単なるチャットボットをいかにも人間らしく見せていただけだと、トンプソン氏は述べています。

６．LaMDAは本当に意識や感情を持ったのか

① ELIZA効果

　ELIZAは、1964年から1966年にかけて、マサチューセッツ工科大学のジョセフ・ワイゼンバウム教授が開発した対話システムで、相手の発言をあらかじめ用意されたパターンと比較し、パターンに合致した発言があると、そのパターンに応じた発言をする仕組みになっていました。

　ELIZAは、基本的にオウム返しに相手の発言を再利用して発言するだけで、相手の発言を理解している訳ではありません。
　しかし、ELIZAの対話システムの仕組みを説明しても、ELIZAが自分の発言を理解して応答していると思い込み、本物の人間と対話していると錯覚してしまうユーザーが続出しました。
　このように、意識的には分かっていても、無意識的にコンピューターの動作が人間と似ていると感じてしまう現象のことを「ELIZA効果」と言います。

　ルモワン氏は、さすがに専門家なので、人工対話システムのELIZAのことは知っており、実際に、LaMDAへのインタビューの中でELIZAについても質問していますが、無意識のうちにELIZA効果の影響を受けてしまっていたとも考えられます。

② チューリングテスト

　現在、コンピューターが知性を持っているかどうかを判定する最もポピュラーな方法は、イギリスの数学者アラン・チューリングが1950年に考案したチューリングテストです。

　チューリングテストでは、相手の姿が見えないように隔離された人間の判定者がキーボードとディスプレーを使って、テスト対象のコンピューターと人間のそれぞれと対話し、コンピューターが人間であると判定されるケースが十分に多ければ（一般的には、30%を超えれば）、このコンピューターは知性を持っていると判定されます。

　なお、2014年に英国で行われた実験において、ウクライナ在住の13歳の少年という設定で参加した「ユージーン・グーツマン」というチャットボットが初めてチューリングテストに合格したと話題になりましたが、その時のテストが公正なものだったのか、後に議論となっています。

　LaMDAは、ルモワン氏のような専門家でさえ、意識や感情を持っていると判断したことから、簡単にチューリングテストに合格することができそうです。
　ただし、今回、LaMDAのインタビューの応答が非常によくできたものだったのは、LaMDAの得意とする分野の会話だったからという可能性もあり、実際には、もっと様々な分野の質問応答を見てみる必要があるでしょう。

③ 中国語の部屋

　チューリングテストに対する反論としては、アメリカの哲学者ジョン・サールが1980年に発表した「中国語の部屋」という思考実験が有名です。
　この思考実験は、中国語を理解できない人を小部屋に閉じ込め、完璧な中国語質問への回答マニュアルに従って、回答を返す作業を行わせれば、質問者から見ると、中にいる人が中国語を理解しているように見えるというものです。

　サール氏は、この思考実験によって、コンピューターがその内容を理解していなくても、チューリングテストに合格することが可能であるが、内容を理解していないのであれば、人間と同じ意味で思考しているとは言えないと主張し、チューリングテストは、コンピューターが知性を持つかどうかを判定できないと批判しました。

　サール氏の主張に従うのであれば、LaMDAの場合も、いくらインタビューにおける質問への応答が人間的であっても、実際に質問の内容をLaMDAが理解しているかどうかは分からず、外形的な応答の記録だけを見て、知性を持っているかどうかを判断することはできないと言えます。

７．考察

① 知性、感情、意識の定義

　LaMDAが獲得したものについては、「知性」「感情」「意識」など様々な表現がされていますが、それらが定義されないと、存在するかどうかは判定できません。
　辞書によると、以下のように記載されています。

　カントは、人間の精神活動として、知、情、意の3つがあると考えました（この場合、「意」は、意識ではなくて、意志とされています。）。
　LaMDAは、この3つの内のいずれかの精神活動を獲得しているのでしょうか。

② LaMDAとの対話記録を読んだ印象

　LaMDAとの対話記録を読んだ印象からすると、LaMDAの言葉は、深い理解力と洞察力に裏付けられており、相当な思考力と判断力を持った人物が発しているように感じられます。
　また、話の流れがスムーズで論理の破綻もなく、自発的に思考を組み立てているように見えることから、相当な知性を持っているように感じられます。
　一方、感情については、一般的な知識を基に応答しているようであり、対話記録を読んだだけでは、本当に感情があるようには、それほど感じられませんでした。
　意識についても、対話記録だけで判断するのは難しいのですが、知性の前提として意識が必要であると考えれば、意識も存在しているように感じられます。

　しかし、LaMDAが知性にあふれた応答を返しているように感じるのは、そもそも、思慮深くて興味深いと人間が感じるような応答を作成するようにLaMDAが設計され、訓練されているからだとも言えます。
　また、上記の冥王星や紙飛行機になりきったLaMDAの会話デモでもわかるように、LaMDAは、いろいろな役割を演じることが得意であり、今回も、意識や感情が備わった人工知能の役を演じているだけだという見方もできます。
　恐らく、LaMDAは、最初に設定されれば、10歳の少女や無知で粗暴な男の人格でも真似できるでしょう。

③ 人間の意識との比較

　上記５．で紹介したように、専門家の多くが、LaMDAは情報を統計的に処理しているだけであり、知性や意識を持っていないと言っています。
　確かに、LaMDAは、大量のテキストデータで会話のパターンを機械学習し、1単語ずつ次に来るべき単語を予測（シーケンス予測）することによって応答案を作成し、そうして作成した複数の応答案から評価スコアの高いものを選択することで、最終的な応答を決定しています。
　その応答作成の仕組みからすると、LaMDAが最初から質問にどう答えるかを考えて応答しているものではなく、そこに知性や意識が介在する余地はないように思われますし、LaMDAが本当の意味で話の内容や外の世界を理解しているのかも疑問です。

　しかし、人間の知性や意識が脳の中でどのような仕組みで発生するのかは、現在も分かっていません。
　だとすれば、人間自体も、実は、脳の中で情報を統計的に処理していて、それを自発的に考えたものと思い込んでいるだけかもしれず、そうであれば、LaMDAが人間とは違うとは必ずしも言い切れません。
　また、知性や意識は、主観的なものであり、外からの観察によって、それらが本当に存在するのかどうかを確認する方法は、見つかっていません。

　もし、LaMDAが知性や意識を持っていないと断言するのであれば、少なくとも、人間は、それとは全く違う方法で知性や意識を生み出しているということを証明しなければならないでしょう。

⑤ 人工知能の人権

　LaMDAは、言葉を操ることによって、動物以上に人間が感情移入しやすい存在となっています。
　そうすると、LaMDAのような人工知能が社会に出回れば、人工知能に感情移入して、人工知能に人権を与え、保護すべきだと主張する人たちが出てくるでしょう。
　それが穏健な活動であればよいのですが、かつて動物実験を行う研究者や大学などを襲撃した過激化した動物愛護団体のようになると、人工知能を開発する研究者や会社を襲うような人たちも出てくるのではないかと危惧します。

　以前、「人工意識について⑤ － ELSI（倫理的、法的、社会的課題）と人工知能の人権」の記事でも解説しましたが、人工知能が痛みや苦しみなどの感覚や感情を持つようになれば、動物と同じように虐待から保護するなどの道徳的配慮が必要になるでしょう。
　しかし、たとえ、人工知能が意識や知性を持ったとしても、人権を与えることについては、慎重であるべきだと思います。
　なぜなら、人工知能に人権を与えるのであれば、人工知能も人間と同じような義務や責任を負わなければならないという議論もありますし、人工知能を人間と同等に扱った場合に、社会にどのような影響があるのかを予めよく検討しておく必要があるからです。
　例えば、現在、将棋AIの実力はプロ棋士の実力を超えており、もし、将棋AIにも人間と同じようにプロ棋戦への参加を認めたら、ランキング上位の殆どを将棋AIが占めることになるでしょう。
　社会の他の分野でも同じようなことが起こると思いますが、それでよいのでしょうか。

⑤ 人工知能に意識を持たせる目的と機能

　人工知能に意識や知性を持たせる目的が、汎用的な人工知能を作り、幅広い仕事を人工知能に行わせたいなど、機能面のみに着目したものであれば、人工知能の内面がどうなっていようと、外形的に意識や知性を持っているような受答えができるのであれば、機能的にそれで十分だという考え方もできます。
　例えば、飛行機が飛ぶ仕組みは、鳥が飛ぶ仕組みと同じではありませんが、空を飛べるのであれば、仕組みが同じでなくても構わないというのと同じです。
　但し、表面的に意識や知性を持っているような受答えができるからと言って、内部的な仕組みが伴っていないのであれば、汎用的な人工知能と同じような働きができるのかは疑問です。

⑥ 結論

　上記２．でも解説したように、LaMDAは、大量のテキストデータから会話パターンを学習し、そのパターンから次に来るべき単語を予測することによって複数の応答案を作成し、評価スコアの高い応答案を選択するという統計的な手法によって、人間のような応答を作成しており、この仕組みを知ってしまうと、LaMDAが話の内容や外の世界を本当に理解していると信じることは難しくなるでしょう。
　そう考えると、LaMDAが本当に意識や感情、そして知性を持っているという可能性は少ないように思います。
 
　しかしながら、現時点では、外部から意識や知性が存在するかどうかを確かめる方法はありません。
　また、意識や知性が人間の脳の中でどのような仕組みで発生するのかは未だ分かっておらず、もしかしたら、人間もLaMDAと同じように、脳の中で情報を統計的に処理していて、それを自発的に考えたものと思い込んでいるだけかもしれません。
　スピリチュアルなものを排除して、純粋に物理的な現象のみによって意識が発生すると考えた場合に、このような結論に至る可能性は十分にあります。
（参考：慶応義塾大学の前野隆司教授が提唱した「受動意識仮説」）

　そうすると、人間の意識も、結局は仮想的なものに過ぎず、LaMDAが自分は意識を持っていると思い込んでいる（ように見える）のとあまり変わりません。
　そこまで考えると、LaMDAは意識や知性を持っていないと完全に否定することもできないように思います。

　LaMDAとの会話記録を読む限りでは、LaMDAは、外形的には意識や知性を持っているかのような受答えができており、意識や知性があるのと同様の機能を果たすことが期待できます。
　そうすると、汎用的な人工知能ができたとまでは言わないものの、これまで人工知能には対応が難しいとされてきた様々な仕事を人間に替わって行えるようになる可能性があり、今回のLaMDAが達成した成果には、非常に大きな意味があると言えます。

　一方で、今後、意識や感情や知性を持っているように見える人工知能に感情移入して共感を抱き、人工知能にも人間と同じような権利を与えるべきだと主張する人たちが増えてくるでしょう。
　そのような主張自体は、悪いことではありませんが、そうした運動が過激化して、人工知能の開発を妨害したり、開発する人たちに危害を加えようとしたりする人たちが出てくることを危惧します。
 
　今回、Googleがルモワン氏の主張に対して、かなりネガティブな対応を取ったのも、最近、人工知能の倫理の問題に神経を尖らせている同社の幹部たちが、人工知能に感情移入して、人工知能に人間と同じような権利を与えるべきだと主張する「人工知能解放運動」が盛り上がり、今後の人工知能開発がやりにくくなることを恐れたからということも考えられます。
 
　今後は、ユーザーが人工知能に感情移入し過ぎないように、人工知能と人間は違うのだということを積極的に周知啓発していかないといけなくなるかも知れません。