【llava-llama3】みんなのギャラリー用の説明とキーワードを生成する【ローカルLLM】

みんなのギャラリーに登録するには、検索用の説明とキーワードを作成する必要がある事を知りました。典型的なLLM活躍の場所ですね。

ChatGPTでもできますが、大量に行うとすぐに制限に達してしまいます。

この手の「あまり正確でなくても良いが大量に処理する用途」は、ローカルLLMが大活躍する一つです。

※ Open WebUIのセットアップの詳細は下記事で紹介しています。

まず、モデルをVLMである「llava-llama3」に変更して、「画像を説明して」と入力します。

残念ながら、Ollamaで利用できる日本語の実用的なVISIONモデルはまだ存在しないので、英語の回答になってしまいます。

※ OllamaブランチではGoogleのVISIONモデルのPaligemmaが対応し、モデルも登録されているので、もうすぐ使えるのかもしれません

次に日本語に翻訳します。日本語処理では最も性能が良いLlama3-Elyzaに変更するためにショートカットキーである「@」を入力してモデルを変更して翻訳します。

キーワードも作ってもらいます。