マルチモーダルAIの歴史と最新動向

ChatGPTに新しいマルチモーダル機能が追加されるなど、最近、マルチモーダルAIが話題になっています。
そこで、BingにマルチモーダルAIに関する解説記事をまとめてもらうことにしました。

2023/9/28　BingチャットとBardのマルチモーダル機能を追記しました。

１．マルチモーダルAIとは何か？

マルチモーダルAIとは、複数のモダリティ（音声、画像、テキストなど）のデータを入力として受け取り、または出力として生成することができる人工知能のことです。

マルチモーダルAIは、人間のように様々な情報源を統合して理解したり、表現したりする能力を持ちます。例えば、マルチモーダルAIは、画像に対してテキストで説明したり、音声でコメントしたりすることができます。また、テキストや音声に対して画像や動画を生成することもできます。

２．マルチモーダルAIの歴史

(1) 初期段階（1980年代～1990年代）

この時期には、音声認識や画像認識などの単一モダリティの研究が盛んに行われました。しかし、複数のモダリティを統合することで得られる利点にも気づき始めた研究者たちがいました。

例えば、音声と画像を組み合わせることで、話者の顔や口元の動きから音声認識の精度を向上させることができることが示されました。また、テキストと画像を組み合わせることで、画像に対するキャプションや説明文を生成することができることが示されました。

このように、初期段階では、主に2つのモダリティを組み合わせる研究が行われました。

(2) 発展段階（2000年代～2010年代）

この時期には、深層学習やニューラルネットワークなどの技術の発展により、単一モダリティの研究が飛躍的に進みました。同時に、複数のモダリティを統合する方法も多様化しました。

例えば、音声と画像を組み合わせることで、画像から音声を生成し、音声から画像を生成するなどの研究が行われました 。また、テキストと画像を組み合わせることで、画像から物語を生成し、物語から画像を生成するなどの研究も行われました 。

このように、発展段階では、主に2つのモダリティを相互変換する研究が行われました。

(3) 現在まで（2020年代～）

現在は、複数のモダリティを同時に扱うことができる汎用的なシステムの開発が目指されています。例えば、音声・画像・テキスト・ビデオなどの様々なモダリティを入力として受け取り、または出力として生成することができるシステムです。

このようなシステムは、人間のように自然なコミュニケーションや創造性を発揮することが期待されています。

３．代表的なマルチモーダルAI

マルチモーダルAIの研究は、多くの分野や応用に影響を与えています。ここでは、代表的なマルチモーダルAIの例を紹介します。

(1) 画像キャプション生成

画像を入力として受け取り、その内容を要約したテキストを出力するタスクです。例えば、犬の写真を入力して、「犬がボールで遊んでいる」というキャプションを生成することができます。

(2) 視覚質問応答

画像とテキストの質問を入力として受け取り、その回答をテキストで出力するタスクです。例えば、「この写真に写っている人は何人いますか？」という質問に対して、「4人です」という回答を生成することができます。

(3) テキストからの画像生成

テキストを入力として受け取り、その内容に沿った画像を出力するタスクです。このようなマルチモーダルAIの例として、DALL-E、Stable Diffusion、Midjourneyなどがあります。

例えば、DALL-Eは、トランスフォーマーを用いて、テキストと画像の両方のデータを同時に学習します。DALL-Eは、様々なテキストに対して、想像力豊かで創造的な画像を生成することができます。例えば、「アボカドの形をした椅子」や「スヌーピーの顔をしたカエル」などの画像を生成することができます。

(4) 画像分類・物体検出

CLIPは、画像とテキストの類似度を評価することができるマルチモーダルAIです。CLIPは、トランスフォーマーを用いて、インターネット上の大量の画像とテキストのペアから学習します。

CLIPは、画像とテキストの両方のデータに対して汎用的な知識や表現を獲得し、それを様々なタスクに適用することができます。例えば、CLIPは、画像分類や物体検出などのタスクにおいて、従来の手法よりも高い性能を示します。

４．対話型AIにおけるマルチモーダルAI活用の最新動向

最近では、対話型AIの分野でマルチモーダルAIの活用が進んでおり、ChatGPT、Bingチャット、Bardなどがその代表例となっています。以下では、それぞれのAIがどのようなマルチモーダル機能を提供しているかについて紹介します。

(1) ChatGPT

ChatGPTは、OpenAIが開発した大規模言語モデルGPT-4をベースにした対話型AIです。2023年9月25日にバージョンアップを発表し、画像と音声を含む会話が可能になりました。

新しいマルチモーダル機能は、有料のChatGPT PlusとEnterpriseプランのユーザー向けに提供され、iOSとAndroidアプリでは音声認識と5種類の音声合成を使ってChatGPTと話すことができます。また、画像をアップロードすることで、ChatGPTが画像の内容を分析し、それに関連する情報や質問に答えることもできます。

例えば、冷蔵庫の中身の写真を撮って夕食のメニューを提案してもらったり、数学の問題を解いてもらったりすることができます。また、自転車のサドルの高さを変える方法を尋ねる例では、この場所でいいかとChatGPTに写真で提示すると、それは違うと返答し、使う道具や手順を教えてくれます。

このように、ChatGPTは画像から得られる情報を理解し、ユーザーのニーズに応えることができます。

【筆者追記】

OpenAIは現在、ゼロからマルチモーダルモデルとして設計されたGobiというLLMを開発中だという情報が広まっています。

(2) Bingチャット

Bingは、Microsoftが開発した検索エンジンですが、2023年2月に対話型AIの機能を追加し、「新しいBing」としてリニューアルしました。Bingでは、テキスト入力だけでなく、画像や動画や音声も検索できるようになりました。

また、Bingチャットという機能を使うことで、Bingと会話することができます。Bingチャットでは、画像認識を行い、画像に関する情報や質問に答えることができます。

例えば、ペットの犬の写真をアップロードして、「この犬の種類は何ですか？」と聞くと、Bingは写真を分析し、「この犬はシェパード・ミックスです」と答えます。また、「今日の天気は？」と聞くと、Bingはあなたの現在地から天気予報を表示します。

また、Bing Image Creatorを利用し、Bingチャットに依頼して画像を生成してもらうこともできます。

【筆者追記】

Microsoftは9月26日のアップデートでWindows 11にAIアシスタントのMicrosoft Copilotを標準搭載し、今年11月からWord、Excel、Outlook等と生成AIを連携させた有料（月30ドル）のMicrosoft 365 Copilotも利用可能です。

〇 Bingチャットのマルチモーダル機能

以下の画像についてBingチャットに聞いてみました。

また、こんなこともできます。

＞シーズーの特徴について分かりやすく図示してください。

(3) Bard

Bardは、Googleが開発した対話型AIです。2023年7月にマルチモーダル機能をリリースしました。

Bardでは、画像や動画や音声だけでなく、Webサイトやメールや地図なども入力として受け取り、それらに応じた出力を生成することができます。

例えば、商品の写真をアップロードして、「この商品のキャッチコピーを作ってください」と依頼すると、BardはGoogleレンズを使って写真を分析し、「あなたの毎日に彩りを与えるカラフルなマグカップ」というキャッチコピーを作成します。

また、Bardは、手書きのメモからWebサイトの要素を推測し、実際にWebサイトを作成することもできます。例えば、「自分のブログサイトを作ってください」というメモをアップロードすると、BardはそのメモからWebサイトのタイトルやカテゴリーや記事などを生成します。

以上が、マルチモーダルAIの最新情報です。マルチモーダルAIは、対話型AIの可能性を広げる革新的な技術です。今後もさらなる進化が期待されます。

【筆者追記】

Googleは、マルチモーダルで、アルファ碁などの深層強化学習の研究成果を取り入れたGeminiという次世代LLMを開発中であり、近々リリースすると言われています。
OpenAIがChatGPTのマルチモーダル機能の追加を急いだのは、Geminiのリリースに先行するためではないかと噂されています。

〇 Bardのマルチモーダル機能

以下の画像についてBardに聞いてみました。

また、こんなこともできます。

＞この画像のように表示するサイトを作成してください。

この記事は、Bingに依頼してまとめてもらいました（筆者追記部分を除く。）。筆者の方で一応チェックはしていますが、なお事実の誤りが含まれている可能性がありますので、利用する際は気をつけてください。