OpenAI、テキストからビデオを作成するAI：Soraがぶっちぎりで凄い！

2024年2月16日 04:03

Soraは、テキスト指示から現実的で想像力豊かなシーンを作成できるAIモデルです。Soraは、ユーザーのプロンプトに忠実で視覚品質を保ちながら、最大1分間のビデオを生成できます。このモデルは、物理的な世界の動きを理解しシミュレートすることを目指しており、実世界の相互作用を必要とする問題を解決するのに役立つモデルのトレーニングが目標です。現在、Soraはリスクや害の重要な領域を評価するためにレッドチームに提供されており、視覚芸術家、デザイナー、映画製作者からのフィードバックを得るためにアクセスが許可されています。

OpenAI社長のグレッグ・ブロックマンもXにポストしています。

Announcing Sora — our model which creates minute-long videos from a text prompt: https://t.co/SZ3OxPnxwz pic.twitter.com/0kzXTqK9bG
— Greg Brockman (@gdb) February 15, 2024

サム・アルトマンも続いて投稿しました。ま、魔法の世紀です。

https://t.co/SOUoXiSMBY pic.twitter.com/JB4zOjmbTp
— Sam Altman (@sama) February 15, 2024

You’re a wizard Sammy 🧙‍♂️
— LoRo (@Lord_Rdz) February 15, 2024

あなたは、魔法使いのサミーです

Soraがどれほど凄いのか比較動画

公式でも説明があるように、自然現象の物理演算を用いているため実写映像さながらの自然さになっています。最高峰と言われてきたRunway Gen-2との比較を上げています。描画技術は遜色ないのですが、動いている状態を見ると一目瞭然です。

OpenAIの動画生成AI「sora」と「Runway Gen-2」との比較。

プロンプトは全く同じ。

もう今は動画生成するのをストップして「sora」の一般公開をただ待ってたほうがいいんじゃないかな？
pic.twitter.com/2rwXFv84oy
— そねち | AIクリエイター (@AIsonesone) February 16, 2024

OpenAIの動画生成AI「sora」と「Runway Gen-2」との比較。

明確なクオリティの差。
「sora」が特にすごいのはガラスの映り込みの再現度がリアルすぎる点。
pic.twitter.com/e3zAvi4QGQ
— そねち | AIクリエイター (@AIsonesone) February 16, 2024

他の3つの動画生成AIとの比較動画も上がっています。

【生成動画比較】

こちらの動画は、Xに投稿された複数の動画生成AIを比較しているものです。

比較は、
・Open AI SORA
・Pika
・Runway
・Stability AI Video

の4つで行われており、Gabor Cselle氏はOpen AI… pic.twitter.com/GkaXFdenPf
— 木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 (@shota7180) February 16, 2024

OpenAI公式ポストの日本の風景

これは、Soraと言う名前が日本語の「空」から来ていると見ていいのでしょうか？公式のポストには日本の美しい冬景色が添付されています。

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf
— OpenAI (@OpenAI) February 15, 2024

テキストからビデオへの変換モデルである Sora を紹介します。 Sora は、非常に詳細なシーン、複雑なカメラの動き、鮮やかな感情を持つ複数のキャラクターをフィーチャーした最大 60 秒のビデオを作成できます。 https://openai.com/sora プロンプト：「美しい雪の東京の街は賑わっています。カメラはにぎやかな街路を移動し、美しい雪の天気を楽しんだり、近くの屋台で買い物をしたりする数人の人々を追っています。華やかな桜の花びらが雪の結晶とともに風に乗って飛んでいきます。」

東京なら神田川なのか荒川なのか、でも風景的には京都の鴨川だよなと思ってしまいました。この謎の看板のカタカナはなんでしょうね？早く日本語が書けるようになってほしいです。

こちらのインドのニュースでは、「Soraは日本語の空から来ている」と書いてあるのでやはり、そうみたいです。

Soraはいつから一般公開される？

公式の発表によると、OpenAI の製品で Sora を利用できるようにする前に、いくつかの重要な安全措置を講じる予定だそうです。OpenAIは、モデルを敵対的にテストしているレッドチーム (誤った情報、憎悪に満ちたコンテンツ、偏見などの分野の専門家) と協力して一般公開に向けて準備を進めています。

SoraはChatGPTに組み込まれるのか？

現在のところ、GPT-4が利用できるツールにはSoraは含まれていません。Soraは、特定のテストフェーズや限定的なアクセスを提供している可能性があり、OpenAIの提供する一般公開前のプロダクトとして位置づけられています。Soraの利用やアクセス方法については、OpenAIの公式情報や公表されている資料を参照する必要があります。

ジム・ファン氏によるSoraの解説

OpenAI Sora が DALLE のようなクリエイティブなおもちゃだと思っているなら、...考え直してください。

Sora はデータ駆動型の物理エンジンです。それは、現実または幻想的なさまざまな世界のシミュレーションです。シミュレーターは、複雑なレンダリング、「直感的な」物理学、長期的な推論、および意味論的な基礎を、すべてノイズ除去と勾配計算によって学習します。ソラが Unreal Engine 5 を使用して大量の合成データでトレーニングされても驚かないでしょう。それは間違いありません。

次のビデオを詳しく見てみましょう。プロンプト: 「一杯のコーヒーの中で航行する 2 隻の海賊船のフォトリアリスティックなクローズアップビデオ。」- シミュレーターは、異なる装飾を施した海賊船という 2 つの精巧な 3D アセットをインスタンス化します。Sora は潜在空間で暗黙的に text-to-3D を解決する必要があります。- 3D オブジェクトは、航行し、互いの進路を避けながら、一貫してアニメーション化されます。- コーヒーの流体力学、船の周囲に形成される泡も。流体シミュレーションはコンピュータグラフィックスのサブ分野全体であり、従来は非常に複雑なアルゴリズムと方程式が必要でした。- フォトリアリズム。レイトレーシングによるレンダリングにほぼ似ています。- シミュレーターは、海と比較してカップのサイズが小さいことを考慮し、「極小」の雰囲気を与えるためにチルトシフト写真を適用します。- シーンのセマンティクスは現実世界には存在しませんが、エンジンは依然として私たちが期待する正しい物理ルールを実装しています。次に、モダリティとコンディショニングをさらに追加すると、すべての手作業で設計されたグラフィックスパイプラインを置き換える完全なデータ駆動型 UE が完成します。

If you think OpenAI Sora is a creative toy like DALLE, ... think again. Sora is a data-driven physics engine. It is a simulation of many worlds, real or fantastical. The simulator learns intricate rendering, "intuitive" physics, long-horizon reasoning, and semantic grounding, all… pic.twitter.com/pRuiXhUqYR
— Jim Fan (@DrJimFan) February 15, 2024

あらゆる種類のスタートアップを爆破

比較動画で確認できるように、Soraの精度がぶっちぎりで高いため他の動画生成AIスタートアップを全て壊すと言う投稿が相次いています。

Just blowing up all sorts of startups…LOL. Looking forward to trying it out
— KT Boyle (@ktb18d) February 15, 2024

OpenAI feature release is an extinct event for many startups 😀 Amazing execution ❤️
— Vibin Babuurajan 👋 (@vibinbaburajan) February 15, 2024

OpenAI 機能のリリースは多くのスタートアップにとって消滅イベントである。驚くべき驚くべき実行

今日はAI愛好家にとってのクリスマス

最初は 10M コンテキストを備えた Google、そして現在は OpenAI Sora です。今日は AI 愛好家にとってのクリスマスです

First Google with 10M context and now OpenAI Sora. Its christmas for AI enthusiasts today pic.twitter.com/jezOfjkWnP
— 𝒫𝑒𝓇 𝒜𝓇𝓃𝑒𝓃𝑔 【🐧λ🦀⎈】 (@per_arneng) February 15, 2024

くそー…2024年はもう面白くなり始めてる

Damn...2024 is starting to be interesting already 👀
— Adi (@adijain31) February 15, 2024

AGIに近づいた

AGIに1日近づいた

1 day closer to AGI
— Robin Delta (@heyrobinai) February 15, 2024

OpenAIの社長による開発者の紹介

率いるチームの素晴らしい仕事
@billpeeb
@_tim_brooks
@model_mechanic.

Amazing work from the team, led by @billpeeb @_tim_brooks @model_mechanic.
— Greg Brockman (@gdb) February 15, 2024

世界をむしばむソフトウェア

新聞、メディア、そして今度はハリウッド。世界を蝕むソフトウェア。チーム、おめでとうございます。よくやった、限界を押し広げました..!

Newspapers, media, and now Hollywood.

Software eating the world.

Congrats team- well done, pushing boundries..!
— Amit Sharma (@amitdce_tweet) February 15, 2024

彼らはグーグルに一日でも注目を集めさせないだろう

they won't even let google grab all the attention for even a day
— Sunny (@Akpochimara1) February 15, 2024

このままでは、OpenAI は歴史を書き換えつつあります…わぁ。

At this rate, OpenAI is now rewriting History… Whaaaat.
— Tshidi 🇨🇭🇧🇼🇿🇦 (@DCCDotCom) February 15, 2024

ゲームチェンジャー！

Game changer!
— Matt Stevens (@realmatt_re) February 15, 2024

クソ野郎。狂ってる！！！

Holy fuck. This is crazy!!!
— Keshav (@Keshav_027) February 15, 2024

AI が世界を席巻しました。

AI has taken over the world period.
— Junior Nunez (@jrreinaldonz) February 15, 2024

What a fun job
— luxuryusername (@luxuryusername) February 16, 2024

なんて楽しい仕事なんだろう

本当に。採用される頭脳さえあればこんな楽しそうな会社はありませんよ。

現実がSoraの作りだす世界を追う事になるのか？

これは、

プロンプト: 2056 年のナイジェリア、ラゴスの人々を映した美しい自家製ビデオ。携帯電話のカメラで撮影されました。

と言うプロンプトで生成された動画ですが、今後人々は自分のデザイヤーを映像にし現実がそれを追いかける様になるのでしょうか？日本の2056年は見たくないですね。

Prompt: A beautiful homemade video showing the people of Lagos, Nigeria in the year 2056. Shot with a mobile phone camera.#openAI pic.twitter.com/cMteKM24Cp
— × (@23milesnorth) February 15, 2024

見た事もない映像を作り出す

Soraはリアリティのある空想世界を作り出せますね。

welcome to bling zoo! this is a single video generated by sora, shot changes and all. https://t.co/81ZhYX4gru pic.twitter.com/rnxWXY71Gr
— Bill Peebles (@billpeeb) February 15, 2024

サムにSoraの「生成プロンプト」依頼が始まってる

サム・アルトマンが人々の要望に応えて生成しています。

https://t.co/uCuhUPv51N pic.twitter.com/nej4TIwgaP
— Sam Altman (@sama) February 15, 2024

なんだこのリアルさは。どう考えて現実にいるだろう。このおばあちゃん。

https://t.co/rmk9zI0oqO pic.twitter.com/WanFKOzdIw
— Sam Altman (@sama) February 15, 2024

https://t.co/qbj02M4ng8 pic.twitter.com/EvngqF2ZIX
— Sam Altman (@sama) February 15, 2024

https://t.co/P26vJHlw06 pic.twitter.com/AW9TfYBu3b
— Sam Altman (@sama) February 15, 2024

これはすごい！子供の頃に描いていた2024年はこんな世界だった！！

https://t.co/rPqToLo6J3 pic.twitter.com/nPPH2bP6IZ
— Sam Altman (@sama) February 15, 2024

here is a better one: https://t.co/WJQCMEH9QG pic.twitter.com/oymtmHVmZN
— Sam Altman (@sama) February 15, 2024

https://t.co/WJQCMEH9QG pic.twitter.com/Qa51e18Vph
— Sam Altman (@sama) February 15, 2024

私たちと働きませんか？ by サム・アルトマン

openai is the most talented and nicest group of people i have ever seen in one place

working on the hardest, most interesting, and most important problems

with all the key resources in place

extremely focused on making AGI

you should perhaps considering joining us
— Sam Altman (@sama) February 16, 2024

いやはやいやはやいはやは、OpenAIの採用条件に見合う頭脳さえ持ってれば筆者だって参加したいですよ。もちろん。世界中の何人が採用条件をくりあできるんですかね？！？！

OpenAIの公開するSora生成のビデオ

Prompt: “A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.” pic.twitter.com/0JzpwPUGPB
— OpenAI (@OpenAI) February 15, 2024

プロンプト: 「赤いウールのニットバイクヘルメットをかぶった 30 歳の宇宙飛行士の冒険をフィーチャーした映画予告編。青い空、塩の砂漠、映画のようなスタイル、35 mm フィルムで撮影、鮮やかな色。」

Prompt: “A gorgeously rendered papercraft world of a coral reef, rife with colorful fish and sea creatures.” pic.twitter.com/gzEE8SwP81
— OpenAI (@OpenAI) February 15, 2024

プロンプト: 「色とりどりの魚や海洋生物があふれるサンゴ礁を、豪華に表現されたペーパークラフトの世界。」

このビデオはSoraによって作成されました

それがOpenAIによる新しいモデルです。これまでに作成された最も高度なテキストからビデオへのツール。ここでビデオを共有します。まったく正気の沙汰ではない。プロンプト: このカンムリバトのクローズアップショットは、その印象的な青い羽と赤い胸を示しています。冠は繊細なレースの羽でできており、目は印象的な赤い色です。鳥の頭はわずかに横に傾いており、堂々とした印象を与えます。背景をぼかし、鳥の印象的な姿を際立たせています。

This video was generated by Sora.

That's the new model by OpenAI. The most advanced text-to-video tool created so far.

I'll share the videos here. Absolutely insane.

Prompt: This close-up shot of a Victoria crowned pigeon showcases its striking blue plumage and red chest. Its… pic.twitter.com/ktvReYWvGZ
— Eduardo Borges (@duborges) February 15, 2024

>このページのすべてのビデオは、修正なしで Sora によって直接生成されました。>プロンプト: ゴールドラッシュ時のカリフォルニアの歴史的な映像。アーチファクトが非常に少なく、スムーズな時間的一貫性。まだ技術文書を待っています

>All videos on this page were generated directly by Sora without modification.

>Prompt: Historical footage of California during the gold rush.

Very little artifacting, smooth temporal consistency.
Still waiting on the tech paper 🤞🤞 pic.twitter.com/h0Ca2qfMDJ
— George Z Lin (@gzlin) February 15, 2024

映画監督は死んだ
OpenAI は sora をリリースしましたテキストからビデオへ |テキストからムービーへ以下にワイルドな例を示します。

⚠️Movie Director are Dead ⚠️

OpenAI just launched sora

text-to-video | text-to-movie

Here is wild examples : pic.twitter.com/7NW0U29JfZ
— Abid Hossain (@Visitmyprofilee) February 15, 2024

マンモスだ！

The mammoths one!🤯 pic.twitter.com/DixfBhTQ48
— Jay Piecha (@JayPiecha) February 15, 2024

OpenAI's new Text-to-Video model.

Sora will transform the way we visualize the world. pic.twitter.com/tgvo5bzlfe
— Poetica (@NeuralNovel) February 15, 2024

OpenAIの新しい Text-to-Video モデル。ソラは私たちが世界を視覚化する方法を変えます。

画質が何故DALL-E3より優れているのか？

Why do the videos from Sora look better than the static images generated by Dall•E 3?
— Ryan Boodram 🇬🇾 (@ryanbdrm) February 15, 2024

Sora からのビデオは、Dall·E 3 によって生成された静止画像よりも優れているのはなぜですか?

This is awesome

First thing I notice is how much better this looks than DALL-E 4 generations

Does this mean DALL-E 5 soon?
— XHabib (@RealXHabib) February 15, 2024

これは素晴らしいですまず最初に気づくのは、これが DALL-E 4 世代よりもはるかに優れているということですこれは、もうすぐ DALL-E 5 が登場することを意味しますか?

これは、本当におもいます。しかしながらDALL-E3にはこのような写真を生成する能力はあるのですが写真の生成を制限されています。肖像権などにひっかかった画像を生成しないよう、現在は、細心の注意が払われています。

OpenAIは技術の安全性と倫理的な使用を非常に重視しており、公にアクセス可能なサービスでは常にこれらのガイドラインに従うよう努めています。

DALL-E 3が生成したリアルな写真は、多くの人にとって非常に魅力的でした。肖像権や著作権の問題が解決され、再びそのような高品質な画像を安全に利用できるようになる日が来ることを筆者も希望しています。技術の発展とともに、これらの課題に対する解決策も見つかるまでは、一般公開されるSoraは、画質のあらいDALL-E3で映像生成をする事になるでしょう。

他の動画生成AIとの比較

どうやら、他のAIとはお話にならないほどクオリティがぶっちぎりで高いようです。

OpenAI社から出たSoraを他動画生成AIツールと比較してみました。（特にアニメーション観点）

結論、ガチで他ツールとのクオリティ差が凄すぎて、、、Runway・Genmoだって昨日まで業界のトップランナーだったのに。… pic.twitter.com/91T0QAoqjK
— ホシカワハヤト 🇺🇸🐳 (@hayato1986) February 16, 2024

この生成動画は私の脳を破壊しました

たしかに。こんなリアルな発掘現場に魔法のFRPの椅子が発見されたなんて。

This Sora breaks my brain.

What even is reality anymore tbh

Prompt: Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care. pic.twitter.com/CuvvF2ro7I
— Harrison Kinsley (@Sentdex) February 15, 2024

イーロン・マスクも参戦

ドージコインのアカウントの、「非営利のオープンソース会社を営利企業に変える男」と言うプロンプト依頼を共有しています。

pic.twitter.com/uRGuCo5Imd
— Elon Musk (@elonmusk) February 16, 2024

ANNの報道

分かりやすくニュースで解説していますので、共有しておきます。

筆者も待ちきれません

GPT-4との会話がこんな事になっています。