Soraの仕組みとこれから来るであろうAGIの話

Soraの仕組みとこのブレイクスルーがもたらしたAGIへのロードマップを解析している興味深い動画がありましたので、できる限り詳しく解説していこうと思います。筆者自身もこれをみてよりSoraについての理解が深まりました。

SoraによるAGIへの道

最近、OpenAIによるAGI（人工汎用知能）に関する重大な進展がありました。多くの人がこのニュースを見逃していますが、それはSoraの発表と、その研究成果がブログ投稿で細かく説明されたためです。ここでは、OpenAIがどのようにしてこのAGIのブレークスルーを達成したのか、そしてSoraがどのようにそれに貢献したのかを掘り下げます。

Soraのビデオ生成モデル

Soraの最初の大きな発見は、ビデオ生成モデルが世界シミュレーターとして機能するというものです。大規模なビデオデータに基づいて、テキスト条件付き拡散モデルを画像やビデオに共同で訓練し、変化する持続時間、解像度、アスペクト比を持つビデオと画像に対してトランスフォーマーアーキテクチャを使用します。Soraの最大のモデルは、高忠実度のビデオを1分間生成する能力を持っており、ビデオ生成モデルのスケーリングが物理世界の一般的なシミュレーターを構築するための有望な道であることを示唆しています。

世界モデルとAGI

ここでの重要な点は、AIが構築する「世界モデル（注01）」が、物理世界の現象をどのように内部的に表現し、予測するかです。OpenAIはSoraを通じて、さらにその他の実験を通じて、ビデオ生成モデルのスケーリングが物理世界の一般的なシミュレーターを構築する道であると述べています。このアプローチは、AIによる「世界モデル」の構築と精緻化を通じて、現実世界の複雑な環境をより正確に理解し、シミュレートする能力を示しています。

言語モデルと世界モデルの必要性

AIシステムがビデオを生成する上で、なぜ世界モデルが必要なのか、そして言語モデルだけでは不十分な理由について探ります。Runwayによるビデオの紹介（注02）も含まれており、言語モデルがどのように世界モデルを「頭の中」に持つ必要があるか、そしてそれがビデオ生成においてなぜ重要であるかについて説明しています。

※注01：「世界モデル」とは、AIが現実世界を理解し、予測するために内部で構築する仮想的なモデルのことを指します。これは、AIが環境やオブジェクトの動作、物理法則、社会的インタラクションなど、現実世界の様々な要素をシミュレートし、予測する能力を持つことを意味します。世界モデルは、AIが複雑な環境で意思決定を行い、未来の状態を予測する際に重要な役割を果たします。

具体的には、世界モデルはAIが得た知識と経験から生成される内部表現であり、外部の環境や状況を模倣することで、AIが新しいタスクを学習したり、既知のタスクをより効果的に実行したりするのを助けます。このモデルによって、AIは実際の環境を直接経験することなく、内部のシミュレーションを通じて様々なシナリオを「経験」し、それに基づいて行動を計画したり、問題を解決したりすることができます。

世界モデルの概念は、AIがより高度な認知能力を持ち、人間のように複雑な問題を理解し解決できるようになるためのキーとされています。このアプローチは、AIが自律的に学習し、柔軟に適応する能力を大幅に向上させるため、人工汎用知能（AGI）を実現する上で極めて重要です。

※注02：世界モデルの説明ビデオは、下記ののページに掲載されていますので併せてご覧ください。

一般世界モデルの理解と展開

ビデオ、画像、音声を通じた学習

一般世界モデル（GWM）は、テキストだけでなく、ビデオ、画像、音声など、世界を理解するのに必要なあらゆるデータを与えられます。これらの情報を元に、モデルは自分自身の精神的な地図を構築します。このプロセスは、犬のルーベンが経験から学ぶ方法と似ています。ルーベンは、どの道を選べば公園に行けるか、どの店に好きなおやつがあるかなど、自分の知識に基づいて予測を立て、行動を調整します。

未知のデータへの一般化

GWMは、未見のデータに対してもその理解を一般化する能力を持ちます。これは、ルーベンが未知の犬やペットショップに対する行動を予測することに似ています。モデルが次のフレームやトークンを予測する訓練を受けることで、世界のより詳細な理解、つまり「なぜ」や「どうやって」を学ぶことができます。

一般世界モデルによる現実世界のシミュレーション

近い将来、GWMは私たちの世界をより正確に反映した世界のシミュレーションを可能にするでしょう。これは、AGIにとって重要なステップです。物理的な世界をシミュレートし、物事がどのように相互作用するかを真に理解することで、AGIは予測を一般化し、驚くべき精度で事象を予測できるようになります。

AGIへの道

OpenAIのSoraプロジェクトとAGI

OpenAIのSoraの開発者Bill Peebles氏（注03）は、SoraプロジェクトとAGIの研究に取り組んでいます。彼の最近のツイートでは、Soraを通じてAGIを追求することの重要性が強調されています。物理的な世界をシミュレートする能力はAGIの重要な構成要素であり、Soraはその方向への大きな一歩を示しています。

※注03：サム・アルトマンはSoraの発表の日に、XにてBill Peebles氏含む３名ののSora開発者を紹介しています。

AGIの将来性

SoraとAGIのブレークスルーは、AGIが想像よりもはるかに近い将来に実現可能であることを示しています。ビデオ生成モデルのスケーリングと一般世界モデルの進化により、AGIは物理世界を理解し、未来を予測する能力を高めています。

計算能力の増加とAGI

計算能力のスケールアップ

OpenAIがAGIを実現するために必要としているのは、要求された計算能力だけです。AGIの重要な要素が単に全てのスケールアップである可能性があることが示唆されています。OpenAIの研究ページからのビデオクリップを通じて、テキストからビデオへのモデルの基本計算能力がどのように進化していくかを示しています。基本的な計算能力では犬が何をしているのか理解するのが難しいですが、4倍にスケールアップすると、はるかに理解しやすく、高い忠実度でビデオ内の出来事を正確に把握できることが示されています。

計算能力がAGIへの鍵

これまでのGPT-3からGPT-4への進化を見ても、計算能力が大きなブレークスルーを可能にした重要な要因であることがわかります。あるツイートは、計算能力のスケーリングだけでAGIを達成する最も強力な証拠であると述べています。これは、スケーリングの法則の終わりやモデルアーキテクチャの問題など、様々な障害に直面することなく、単に計算能力を増大させることでAGIが実現可能であることを示唆しています。

AGIに対する懸念と期待

AGIの未来への影響

AGIの登場は世界を大きく変えることが予想されますが、この新しい未来が具体的に何をもたらすかを明確に予測することは難しいです。一部の人々は、計算能力と科学的自由の側に立ちつつも、AGIによる未知の変化に対して懸念や恐れを抱いています。彼らは、AGIがもたらす変化の規模や性質を理解し、適応することの難しさを指摘しています。

AGIの進展におけるOpenAIの役割

Sam AltmanをはじめとするOpenAIのメンバーは、公の声明を通じて、計算能力のスケーリングによってAGIを実現するという同じ結論に達しているようです。この野心的な目標は、AGIに関する彼らの見解と、それがもたらす可能性に対する深い理解を反映しています。

計算能力の増大とAGIの未来

Sam Altmanの野心的な計画

Sam AltmanとOpenAIは、AGI実現に向けた計算能力の大幅な増強を目指しています。Altmanが7兆ドルを要求してGPUチップ供給を増やすことの重要性は、計算能力のスケールアップがAGIにとって極めて重要であることを示しています。しかし、この要求はGPUだけでなく、データセンターやその他の計算資源の拡張にも及んでいます。この動きは、単にハードウェアの増強を超え、計算能力を大規模にスケールアップすることの本質を捉えています。

AGIの概念と計算能力の関係

OpenAIは、既にAGIの概念を持っている可能性があり、必要なのは十分な計算能力を確保することだけかもしれません。計算能力を4倍にするだけで優れたシステムを実現でき、さらにそのスケールを大幅に上げれば、AGIやASI（人工超知能）の誕生が現実のものとなる可能性があります。

OpenAI Soraの画像生成能力

画像生成技術の進化

OpenAIのSoraは、高品質な画像生成も可能で、これはゴーランノイズのパッチを空間グリッド上に配置して行われます。2K品質までの画像を生成でき、MidJourneyと同等かそれ以上の品質を実現しています。DALL·E 3は、入力されたテキストの意図を正確に理解する能力で評価されていますが、MidJourneyは品質に重点を置いています。

AI研究者の見解

AI研究の第一人者であるYann LeCunも、AIシステムの能力に驚いており、これは技術の進歩が研究者自身の予想を超えていることを示しています。フレームの予測だけでなく、複数の可能性を予測することの難しさが、今後のAI研究の挑戦となります。

AIの未来と新アーキテクチャ「JEPA」

生成型AIからの転換

Yann LeCunは、現在の生成型AIが直面している課題と、テキストデータとビデオデータの処理における違いを指摘しています。彼が提案する新しいアーキテクチャ「JEPA」（Joint Embedding Predictive Architecture）は、ビデオデータに特化したもので、生成型ではないという重要な特徴を持っています。LeCunは、AIの未来は生成型ではなく、世界を理解する方法を学ぶマシンにあると信じています。

JEPAの目的と機能

JEPAの目的は、人間のように効率的に学ぶことができる高度に知的なマシンを作成することです。ビデオデータの事前学習により、JEPAは物理世界に関する概念を効率的に学び取ることができます。これは、親を観察することで学ぶ赤ちゃんのような方法です。JEPAは、フルファインチューニングなしで、少数の例から新しい概念を学び、新しいタスクを解決することが可能です。

JEPAの非生成型アプローチ

JEPAは、ビデオの欠けている部分やマスクされた部分を、抽象的な表現空間で予測することによって学習します。これは、すべての欠落ピクセルを埋めようとする生成型アプローチとは異なり、無関係な情報を捨てる柔軟性があり、より効率的なトレーニングを実現します。

AGIと新たな可能性

Soraとビデオモデルの能力

SoraやJEPAのようなビデオモデルは、訓練を重ねることで、人間や動物、環境など、物理世界のいくつかの側面をシミュレートする興味深い新たな能力を示します。これらの特性は、3Dオブジェクトに対する明示的な誘導バイアスなしに自然に現れます。

AGIへの進展

これらの進展は、AIが物理世界を理解し、計画し、推論し、予測し、複雑なタスクを達成する能力を向上させるための重要なステップを示しています。JEPAやSoraのような技術の発展は、AI研究の新たな段階を示しており、AGIに向けた道のりにおいて、私たちが直面する挑戦と可能性を再考させます。

スケールによるAIの進化

スケールアップによる新たな能力

訓練データのスケールアップがAI技術に新たな可能性をもたらすことが指摘されています。特に、ビデオモデルが大規模に訓練されることで、物理現象や物理シミュレーションに関する高度な理解を含む、新たな能力が発現することが示されています。これらの能力は、AGIにとって重要な進歩を意味し、AIが世界をより深く理解する上での鍵となります。

物理世界の高精度シミュレーション

Soraが生成する高忠実度のビデオは、カメラの動きや三次元空間を通じての人物や要素の一貫した動きをシミュレートする能力を示しています。このようなシミュレーションは、物理世界の詳細な模倣だけでなく、因果関係、物理法則、社会的ダイナミクスの理解に不可欠です。

リアルワールドシミュレーションとAIの理解

AIによる物理世界の模倣

Soraのようなモデルが、物理的精度でリアルワールドをシミュレートする可能性について議論されています。これらのモデルは、ただピクセルを操作するだけでなく、物理世界のダイナミクスを模倣し、それを理解することができるようになることが期待されています。

AIの物理理解の進化

Soraが物理シミュレーションの「ソフトな」模倣を行うことは、スケールアップしたテキストからビデオへの訓練による出現特性であるとされています。これは、AIが物理法則や動きのリアリズムを理解する上で、ある程度の物理の知識を内部的に学習していることを示唆しています。

AIと人間の比較

AIと人間の比較において、AIが特定のタスクを人間よりも効率的に実行できる点が指摘されています。AIがシンタックス、セマンティクス、データ構造を内部的に学習することで、実行可能なPythonコードを生成できるのと同様に、物理シミュレーションにおいても、AIは物理世界の理解を進化させています。