なぜChatGPTに未来が予測できないのかを簡単解説

ここ半年ほど世間を賑わせている生成AI「ChatGPT」ですが、ChatGPTに限らず、今まで "賢いAI" や "賢いシステム" が出てくるたびに、賢いAIがあれば「未来が分かるのではないか」「株や宝くじで一儲けできるのではないか」という輩が出てきます。一方、世の中には天気予報や故障予知等、「未来予測」と分類される仕組みがあります。ChatGPTとこれらの未来予測の仕組みとの違いは何なのか、ChatGPTでは未来は予測できないのか、この記事では平易な言葉で整理してみたいと思います。

前の記事:

ChatGPTが文字を生成する仕組み

ChatGPTがどのような仕組みで動いているのか、技術的な詳細の解説は、すでに様々な記事が出ていますので、それらに譲ることにします。ここでは、仕組みを大局的に把握することにフォーカスします。

言語モデル「GPT」の特長と進化

ChatGPTは入力されたテキストに対して「大規模言語モデル (LLM: Large Language Model)」と呼ばれるディープラーニングの事前学習済みモデルを使って出力されるべきテキストを導き出します。GPTとは、「Generative Pretrained Transformer (生成系事前学習済みトランスフォーマー)」の略であり、2018年にOpenAIが開発して発表した言語モデル (AIエンジンの一種)になります。トランスフォーマーは、従来使われていた回帰型ニューラルネットワーク (RNN) と比べてはるかに多くの並列化を可能としてトレーニング時間を短縮できるモデルで、どの単語※1が特定の単語の次に続く確率が高いかを学習しており、GPTの核となっている仕組みです。

また、学習にはインターネット上を含むテキストデータを使っていて、これらの膨大なテキストの中の単語の統計的な結びつきの強さを元に、ChatGPTは入力されたテキスト$X$ (=プロンプト) から出力されたテキスト$Y$を導いています。また、出力されたテキストは、従来の技術より自然な言葉を出力できることも特徴となります。

そして、大規模言語モデルは言語モデルの中でも「モデルパラメータ数」と「訓練データ量」を大規模化しています。これらの規模 $N$が大規模化すると、学習ができていることを表すTest Loss $L$ (小さいほど良い値)は、べき乗としていずれも$L=\frac{1}{N^{～0.1}}$くらいのゆっくりしたスピードで小さくなっていくことが分かっています※2。

そして、GPTは新しいバージョンごとに10~100倍の規模で成長しています。

※1 単語はトークン (=意味を成す最小単位である字句)と呼ばれることもあります。
※2 「Scaling Laws for Neural Language Models(2020)」

ChatGPTとGPT-3の差分

このように作成されたGPT-3ですが、欠点として人間の目から見て有害だったり不適切な回答をしてしまうことが知られています。たとえば、ヘイトスピーチや性的・暴力的なコンテンツを回答したり、社会的なバイアスや世界観が異なる回答などです。これはGPTが単純にインターネット上の膨大な単語同士の統計的なつながりの分析のみを根拠に回答しているためです。

そこで、GPT-3モデルをRLHF (人間のフィードバックに基づく強化学習)という仕組みで訓練してファインチューニングします。最初はGPT-3による入力と出力の組み合わせをサンプリングで抜き出して、それに対して優先度の上げ下げを人間が指示し、次に「人間の指示」の傾向をモデル化して基準として、より多くの「GPT-3による入力と出力の組み合わせ」の優先度の上げ下げを訓練します。

これによりファインチューニングされたGPT-3の改良版が「InstructGPT」として2022年3月にリリースされました。さらに、GPT-3の改訂版であるGPT-3.5をベースに会話形式に特化した訓練を行った改訂版が「ChatGPT」として2022年11月にリリースされました。

未来予測の仕組み

さて、ここまではChatGPTがどのように動いているかの概要を解説しました。ChatGPTは会話形式でいろいろな質問に対する回答を自然な言語で (もちろん日本語でも) 生成してくれます。

すると、どんどん最新AIテクノロジーに対する期待が高まってきますよね。まるでそのうちChatGPTが人間に替わって何でもやってくれる、未来も含めて何でも知っている万能な存在になるのではないか、と考える人も出て来るでしょう。

しかし、本当にそうでしょうか。ここは冷静になって情報を整理して考えてみましょう。

＊

ちなみに、GoogleトレンドでChatGPTについてのトレンドを見ると、日本でも世界でも5月、6月になって落ちてきている傾向が見えてきています。ChatGPTが発表されてからの半年は、普段AIのことを気にしない人々も含めて世界中の多くの人々が熱狂していたので、さすがにその反動がそろそろ来ているのでしょう。そろそろ熱気が冷めて応用分野が可能な領域への実践が静かに進んでいくフェーズに来ているのかもしれません。

そこで、ChatGPTにもこのことを聞いてみることにしました。

すると、「具体的な未来の予測はできません。」という言葉とともに、良くできた立ち回りの回答が返ってきました。予測自体はしていませんが、付帯事項としてChatGPTのバージョンアップや代替品の可能性、ChatGPTことだけに限らず、自然言語モデルの需要が高まることは傾向として述べてくれています。付帯事項の部分は、セオリーに従って割と網羅的な回答になっています。「予測」に関する質問は、人間のフィードバックに基づいた回答に調整されているようにも見えます。

未来予測にはモデルと過去のデータが必要

では、なぜChatGPTは未来の予測をしないのでしょうか。いくつか理由が考えられますが、一番大きいと思われるものは「未来予測には専用のモデルが必要だから」です。

大規模言語モデルでは、質問$X$に対して回答$Y$を出す際のAIモデル$f$を構成するのに大規模な「モデルパラメータ」と「訓練データ」を使っていることは前に述べました。しかし、これらはあくまでも入力された単語と統計的に関連性の高い単語を出力として導き出すためのものであり、「未来予測」を行うものではないためです。

AIでも予測を行う分野がありますが、未来予測を行うには未来予測のためのモデルが必要になります。これはChatGPTのエンジンがGPT-5になってもGPT-10になったとしても同じで、GPTが同じ仕組みを使っている限りは、いくら訓練データ量やパラメータ数が増えても未来予測ができるわけではありません。 (ただし、未来予測を行うための訓練データは同じものがつかえる可能性があります。) また、ChatGPTの訓練データセットは2021年9月までのものなので、これをできる限り最新に近づければいいのではという人もいますが、これも違います。

未来予測モデルの成立には「安定した世界」の前提が必要

そして未来予測モデルを作るためには、いくつかの仮定を必要とします。その中でも大きいのは「未来予測には安定した世界である必要」があるということです。安定した世界であるということにもいくつか種類があります。

たとえば2019年の時点で人類は2020年から新型コ ロナによる大規模なパンデミックが発生してさらに3年も続くことを予測していなかったですが、このような社会の大きな非連続的変化があると、このイベントの前後で社会の色々なものの挙動が変わり、イベント以前のデータを使ってイベント以後のことを説明することが難しくなります。マスクの売り上げが大きく伸びることは過去には予測がつかなかったわけです。

加えて、天気予報も2~3日後までの天気は割と当たることが知られていますが、2週間後、1か月後の天気になると全然当たらないことを経験的にご存じでしょう。これは、天気に関する微細な初期条件の差異 (=誤差)が、時間とともに指数関数的に大きくなってしまい、長期間の予測において誤差の大きさが発散してしまうためです。これはカオス的振る舞いと呼ばれ、通常の場合だと時間が経ってもあまり大きくならない小さな誤差が破滅的な影響を及ぼしてしまいます。この場合は長期的な未来予測が困難になります。

いずれの場合も、「安定した世界」の条件の外に出てしまうケースで、未来予測モデルを成立させ、予測を当てる場合に気を付けなければならないことです。

未来予測は必ず確率論に帰着、モデルと現実とのギャップが出る

また、より基本的なことですが、未来予測モデルは、予測対象の数字 (位置、質量、エネルギー量、等)がある時間を経てある数字になる「確率」を返します。天気予報でいえば「明日東京の降水確率は40%」のような形です。そのため「未来は必ずこうなる」という答えを未来予測モデルが出してくれるわけではありません。

加えて、未来予測モデルの出力結果はモデルを成立させるための色々な仮定が前提になっていることは前に述べました。ただし、現実世界ではこの仮定が成立しているとは限りません。そのため、モデルの出力結果と現実世界ではどうしても差分が出てきてしまいます。

未来予測の説明可能性

また、AIの分野でホットな話題の一つとして、「AIが出した結果がどうしてそうなったのかをきちんと説明付けられるか」ということがあります。これができないと、いくらAIが予測結果を出しても、それを安心して活用することができません。手法によってはAIの出力結果の説明がうまくできる場合もありますが、一般論として大規模な層を構成するニューラルネットワークの出力結果の説明はなかなかうまくいきません。

AIの出力結果を説明可能な形で取り出すことは、AIによる出力結果を活用していく上での今後の大きな課題となっています。

＊

それでは、改めてChatGPTの回答のうち、「可能性」について言及している文章を見てみましょう。これらは、過去の訓練データの中からの単語のつながりを通じて一般論として導き出した回答だと思われます。「安定した世界」であれば、定性的に過去の出来事と似た事柄が繰り返し発生する可能性が高いため、回答の立ち回りとしては無難です。(ただし、何かを確定的に述べていたり、どれの確度が高いなど、実際の未来予測に役に立つレベルの情報は含まれていません。)

ChatGPTの使いどころ

以上、見てきたように、ChatGPTには未来予測ができるわけでないこと、それは未来予測には専用の仕掛けと仮定が必要だからであることを説明してきました。

かといって生成AIは使い所と使用方法を正しく見極めれば、人類の生産性を飛躍的に向上させるツールとなりえます。ChatGPTを人格化して表現すると「インターネット上の情報を学習した、うまく質問すれば回答や作業結果をくれる気は利かない無邪気で常識のない外部人材」となり、普通の正社員よりは劣りますが、これを誰もが無料で使えるとなると大きな戦力となります。また、生成AIは人間にしかできないと思われていた「創造性」を働かせることも比較的得意です。

以上のようなことを踏まえて、皆さんの業務の中で生成AIが効果的に働くものを早期に見極め、どんどん活用していくことで今後のビジネスにおける差別化をしていきましょう！

最後までお読みいただきありがとうございました！それでは、また。