Gemini Live のビジュアルガイダンスとGoogleアプリ連携と音声強化

以下の記事が面白かったので、簡単にまとめました。

1. はじめに

本日、「Gemini Live」をアップデートしました。視覚認識能力と表現力が高まり、より多くのGoogleアプリと深く連携できるようになりました。

2. ビジュアルガイダンス

カメラを共有すると、「Gemini」はユーザーが見ているものを認識できるだけでなく、画面上に直接ハイライトする「ビジュアルガイダンス」を提供できます。これらのリアルタイムな「ビジュアルガイダンス」は、一緒に学び、問題を解決するための強力な新しい方法を生み出します。

「Gemini Live」の「ビジュアルガイダンス」は、「Pixel 10シリーズ」で8月28日の発売と同時に利用可能になり、同週中に他の Android デバイスにも展開を開始します。今後数週間でiOSデバイスにも展開予定です。

3. Googleアプリ連携

真のAIアシスタントは、質問に答えるだけではありません。スケジュール管理をサポートし、大切な人とのつながりを、シームレスなフローで実現します。「Gemini」は、ユーザーがすでに利用しているアプリに接続することで、これらの機能を提供します。

1 週間のスケジュールを調整していますか？「Googleカレンダー」で予定を確認したり、薬局が閉まる前に処方箋を受け取るよう、「Google Tasks」にリマインダーを設定して「Gemini」に頼むことができます。あるいは、夕食の新しいレシピを考えているなら、「Google Keep」の新しい買い物リストにすべての材料を追加するよう「Gemini」に頼むことができます。

これらの機能は、本日提供開始の「Googleカレンダー」「Keep」「ToDoリスト」との連携によって実現されています。さらに、近日中に「メッセージ」「電話」「時計アプリ」を追加し、「Googleマップ」も追加する予定です。これにより、「Gemini Live」はさらに多くの方法でユーザーをサポートできるようになります。

例えば、「Gemini Live」を使ってお母さんへの誕生日プレゼントのアイデアを出し合っているとします。完璧なアイデアが浮かんだら、迷うことなく「…これだ！お父さんに電話して、取りに来てもらうように頼んで」と言えるでしょう。

移動中も同じです。「Gemini」と最速の地下鉄ルートを調べているとしましょう。もし遅れていることに気づいたら、会話を中断して「このルートは良さそうです。では、アレックスに10分ほど遅れていることを伝えて」と言えば済みます。「Gemini」がテキストの下書きを作成してくれるので、あなたはすぐにナビゲーションに戻ることができます。

4. より表現力豊かで自然な発声

近日中に新しいモデルアップデートにより、「Gemini Live」はイントネーション、リズム、ピッチといった人間の話し言葉の重要な要素の活用方法を大幅に改善し、より反応が良く表現力豊かな会話を実現します。
今後数週間で、以下のことが可能になります。