ComfyUI 標準ノードで画像編集！ SAM 3.1 と Qwen3-VL の使い方 【画像生成 AI】

はじめに

こんにちは、きまま / Easygoing です。

今回は、ComfyUI の 標準ノード でできる画像編集についてご紹介します。

ComfyUI は拡張性が高い！

ComfyUI は、誰でも自由に カスタムノード 作ることができるので、無類の拡張性が生まれています。

ComfyUI の強さについて

ComfyUI のカスタムノードのうち、特に便利で利用頻度の高いもの は ComfyUI の標準ノードに搭載されるようになってきており、公式実装になって 安定性 と パフォーマンス が向上しています。

今回は、そのように標準実装されたノードを使った SAM 3.1 と Qwen3-VL の利用法をご紹介します。

SAM 3.1 は領域検出モデル

SAM 3.1 モデルは、Meta 社 が公開している 領域検出モデル です。

Meta の SAM 3.1 モデル

SAM 3.1 モデルは、以前にご紹介した SAM 3 から主に動画利用時のパフォーマンスを向上したモデルです。

SAM 3 モデルについて

Meta の SAM 3 モデルは、Hugging Face の公開ページからダウンロードするときに 連絡先情報の入力 が必要でしたが、Comfy Org が公開した sam3.1_multiplex モデルはこれが必要なくなり、誰でも自由にダウンロード して使えるようになりました。

Comfy-Org が公開した SAM 3.1 モデル

そこで、今回は ComfyUI の標準ノードを利用した SAM 3.1 の使い方をご紹介します。

人物を指示して検出する

それでは、 実際に SAM 3.1 モデルを利用して、次のイラストから背景を消去してみましょう。

ワークフロー

モデル

• checkpoint: sam3.1_multiplex_fp16.safetensors

まず、 Comfy Org が公開している sam3.1_multiplex_fp16.safetensors モデルは Checkpoint 形式 で配布されているため、ダウンロードしたモデルも Checkpoint と同じ場所に配置します。

ComfyUI の場合

• ComfyUI/models/checkpoints

Stability Matrix の場合

• Models/StableDiffusion

そして、Load Checkpoint ノードで SAM 3.1 モデルをロードします。

次に、通常の画像生成のプロンプトと同じように CLIP Text Encode ノードを接続して検出したい対象を記入します。

続いて、SAM3 Detect ノード の model と conditioning に接続します。なお、 SAM 3.1 モデルには VAE は含まれていないので、vae は接続する必要はありません。

これで、SAM 3.1 モデルを利用して 人物を検出 することができました。

人物以外の背景を消去する！

現在は、SAM 3.1 で検出した人物が選択された状態ですが、実際に消去したいのは反対の背景側なので、Invert Mask ノードで領域を反転させます。

そして Join Image with Alpha ノードに、最初の画像と背景のマスク領域を入力することで、背景が透明になります。

ここで、ノード名の Alpha は、Alpha Channel（透明チャンネル）のことを指しています。

これで、SAM 3.1 モデルを使ってイラストから 背景を透明に切り抜く ことができました。

Qwen3-VL は画像も理解する！

後半は、Qwen3-VL モデルの使い方をご紹介します。

Qwen シリーズは、中国の Alibaba が公開している 大規模言語モデル（チャット AI）です。

• 大規模言語モデル（Large Language Model）：文章を理解する

• 視覚言語モデル（Vision Language Model）：画像と文章を理解する

Qwen3-VL は、大規模言語モデルの Qwen3 に 画像認識能力 を追加したモデルで、文章に加えて画像も理解することができます。

Qwen シリーズは、その性能の高さとオープンなライセンスから、画像生成 AI の テキストエンコーダー（プロンプトを解析する AI）としての採用が増えていて、Qwen3-VL モデルは以前にご紹介した Krea 2 モデルの テキストエンコーダー として使われています。

Krea 2 モデルについて

Qwen3-VL で画像を説明する！

それでは、Qwen3-VL モデルを使って 画像に説明（キャプション）をつけてみましょう。

先ほどの背景を除去したアニメイラストで試してみます。

ワークフロー

モデル

• qwen3vl_4b_bf16.safetensors

• qwen3vl_4b_INT8_ConvRot_HQ.safetensors（筆者が作成した軽量版）

まず、Qwen3-VL モデルをロードするときは、通常のテキストエンコーダーと同じように Load Clip ノードを利用します。

そして、Generate Text ノードに clip と 画像 を入力して、Prompt に指示を書きます。

紫の服を着た女性のアニメイラスト

Qwen3-VL モデルを使って、色彩 や 雰囲気 も描写したキャプションを作ることができました。

Qwen3-VL でプロンプトを作る

続いて、Qwen3-VL モデルを利用して 別の画像 から画像生成のプロンプトを作ってみましょう。

まずは、先ほどのイラストとは別に、次の ひまわり畑の写真 を使ってキャプションを作成してみます。

ひまわり畑の写真

続いて、両方の画像から作成したキャプションを組み合わせて、筆者がいつも利用している クオリティプロンプト を加えて、Qwen3-VL でプロンプトを生成します。

ここで、Qwen3-VL に与える指示は、Krea-2 の公式ワークフローの プロンプトエンハンサー で使われているものをそのまま流用しています。

完成したプロンプトで画像生成

それでは、完成したプロンプトで Krea-2-Turbo_clear モデルでイラストを生成してみます。

入力画像

出力画像

プロンプト

これで、入力した ２枚の画像を組み合わせて、全く新しいイラスト を生成することができました。

今回利用したワークフローは、記事の最後に添付します。

Ollama や LM Studio は必要ない！

従来は、Qwen をはじめとした 大規模言語モデル を ComfyUI で利用する場合は、Ollama や LM Studio といった外部ツールを同時に起動して同期させる必要がありました。

これらのツールは、当然ながら ComfyUI と VRAM を競合 するため動作が重くなり、またメモリ不足による クラッシュ も頻発して安定して動作させるのは難しいものでした。

今回、ComfyUI が SAM 3.1 や Qwen といったモデルに標準ノードで対応したことで、ComfyUI のアルゴリズムに沿ったモデルの移動 ができるようになり、安定性とパフォーマンスが大きく改善して、多くのユーザーの利便性が向上したと思います。

ComfyUI は、それ単体で何でもこなすことができる、最強の生成 AI ツール に進化しつつあると言えるでしょう。

ComfyUI は、カスタムノードを飲み込むのか？

しかし、筆者は同時に別の視点も持っています。

SAM 3・Qwen・INT8_ConvRot といった、現在の ComfyUI を支える優れた機能の多くは、もともとは カスタムノードコミュニティ が最初に実装したものです。

ComfyUI-INT8-Fast カスタムノードの製作者の BobJohnson24 氏 は、自身のリポジトリの冒頭で次のようにコメントしています。

Comfy Org が、カスタムノードコミュニティの中から優れたアイディアを抜き出して、「パフォーマンスの最適化」のために ComfyUI 以外のツールとの 互換性を排除 し、生成 AI ツール の覇権を目指す姿勢から、同社が過去に唱えていた コミュニティとの協調 する姿は薄れつつあると感じています。

2025.11.5 Comfy Org のブログ記事

もちろん、ComfyUI のカスタムノードの多くは、MIT や Apache-2.0 などのオープンライセンスで公開されているので、ComfyUI 本体が利用するのは権利上の問題はないですし、ComfyUI 本体への統合はカスタムノードの製作者として名誉なことなのかもしれません。

ComfyUI が、コミュニティツール から 最強の商用ツール に変化していく様子を、2026 年の証人として筆者は見守っていきたいと思います。

ワークフロー

最後に、SAM 3.1 と Qwen3-VL を利用した筆者の普段使いのワークフローを２つご紹介します。

SDXL → アップスケール → Detailer

モデル

• checkpoint: mellow_pencil-XL_clear_v2.safetensors

• checkpoint: sam3.1_multiplex_fp16.safetensors

• upscale_model: 4x_IllustrationJaNai_V1_ESRGAN_135k.safetensors（非商用）

カスタムノード

• ComfyUI-Impact-Pack

Krea-2-Turbo_clear で２枚の画像から１枚のイラストを生成（本記事のワークフロー）

モデル

• checkpoint: sam3.1_multiplex_fp16.safetensors

• text_encoder: qwen3vl_4b_bf16.safetensors

• diffusion_model: Krea-2-Turbo_clear_BF16.safetensors

• vae: qwen_image_vae.safetensors

• upscale_model: 4x_IllustrationJaNai_V1_ESRGAN_135k.safetensors（非商用）

まとめ：SAM 3.1 と Qwen3-VL を使ってみよう

• SAM 3.1 や LLM の機能が ComfyUI 本体に統合

• 安定性とパフォーマンスが改善

• 最強の 生成 AI ツール に進化しつつある

今回は、ComfyUI の標準ノードを使った SAM 3.1 と Qwen3-VL モデルの使い方をご紹介しました。

ComfyUI は、ユーザーのニーズを的確に察知して基本機能を拡張し、プロフェッショナル向けのツール として大きな飛躍を遂げています。

ComfyUI は、筆者をはじめ多くのクリエイターにとって無くてはならないツールとして、これからも大きく発展していくでしょう。

最後までお読みいただきありがとうございます！

更新履歴

2026.8.10

• ワークフローのアップスケールモデルを、pth 形式 から safetensors 形式 に変更しました

2026.8.20

• ワークフローを一部更新しました

2026.8.25

• 内容を一部修正しました

English Article