ローカルLLM活用の3本柱 ～プラットフォームやモデルを独断と偏見で紹介&解説～
こんにちはRcatです。
今回は、今私が使っているローカルLLM環境を3本柱として整理してお伝えしようと思います。
プラットフォーム: 用途別に3種類を紹介
モデル: サイズや種類別に3分類します
ハードウェア: 組み合わせ別に3つの方法を紹介
はじめに
利用規約
情報や作品の活用時は事前に利用規約をご確認ください。
コメントについて
利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。
前提
推論エンジンはllama.cppとします。
プラットフォーム三本柱
まずはプラットフォームです。
AIがあってもそれを動かす基盤がないと生かせません。
①Hermes
様々なタスクをこなしてくれる相棒のAIエージェントを作るプラットフォーム。
汎用性が強みで、チャットをすることでAIがやれることなら何でもやってくれる
情報収集
ブラウザと接続することで、ネット上から自動で情報を集めて要約してくれます定型タスク
あるAPIを定期的にたたいたり、時刻指定で実行したりできます
単純なスクリプト化で対応することもあれば、判断がいるもの(ログ分析など)は必ずHermes自身が実行判断の上で回答します開発
私はこの用途では使っていませんが、定型タスクをするためのスクリプトを事前に作って設定などで、簡単な開発を任せているとも言えますDiscordと接続
様々なメッセージアプリに対応しており、私はDiscordで使っています。
非常にやり取りが楽になるのでまさに相棒という感じがします。
お勧めモデル
Qwen3.6 35B-A3
理由:精度と応答性を兼ね備えているため
②OpenHands
ソフトウェア開発を丸投げするための環境です
開発のためのWEB UIを持っているため、非常に作業しやすいのが特徴
洗練されたUI
AIとのやり取りや作業状況がチャット、サイドバーではファイルの状態やターミナル履歴などが見られます。
開発特化として設計されているだけあり、使いやすいです。ブラウザ内蔵
ブラウザが最初からついており、タイミングが良ければ今どの画面を見ているのか見ることもできます。
画像だけのキャプチャではないようで、ビジョン非対応のモデルでも使えます。gitの差分やコミットがみられる
開発特化なので、現在のワークスペースのリポジトリにて、作業中の差分やコミット履歴を見られます。markdownプレビュー対応
これにより、設計書レビューなどをスマホでも行うことができます。
お勧めモデル
Laguna S2.1
DeepSeek v4 Flash
Qwen3.8 27B
muse glimmer 30B
理由:高度なタスク遂行能力と安定性が求められるため
Gemma4 E4B (圧縮)
理由:コンテキスト圧縮は軽量モデルで行うのが効率が良い
③VSCode-1（ZooCode）
VSCodeの拡張機能で、kiroやgit hub cpilotに似た感じのチャットで、今開いているワークスペースでの作業をリアルタイムでペアプログラミングする環境。
開発中に今すぐAIの補助が欲しいときに使える
ペアプログラミング向け
自分で書いているコードをそのままAIに渡して調査、編集ができるため「丸投げはちょっと」…という場合に便利丸投げも可能ではある
自動承認と自律向けのオーケストレーターモードを駆使すれば、VSCodeを使って勝手に実装をしてくれる。
ただし、このサブタスクに分割が理解できるレベルのモデルがいる。コードベース
ソースコードを意味検索するコードベース機能がある。これにより、ローカルLLMでもより少ないリソースで目的のコードを検索可能。直感的な自動承認
自動承認の設定が非常に簡単で分かりやすいです。kiroみたいに凝ってないので設定が楽。丸投げも楽。
お勧めモデル
Qwen3.6 35B-A3
Ornith 1.0/1.5 35B-A3
理由:制度と応答性を兼ね備えているため
③VSCode-2（Continue）
VSCodeは2種類あります…
continueもZooCodeに似た拡張機能なのですが、コード補完があります。
逆にチャット関連は設定も少ないほか、全部英語なのでペアプログラミングはZooCodeで、コード補完をContinueという感じですね。
コード補完
手動コーディング中に、この後ほしいであろうコードを予測してインライン補完してくれる。
当たると一気に1行進むため楽。スペル忘れたも地味に効く
関数の上でコメント入れようとすると関数の説明を生成してくれたりするのも楽。
お勧めモデル
Qwen2.5-coder 7B / 0.5B
理由:応答性と精度のバランスが良いため(RTX5070Tiの場合)
0.5BはよわよわiGPUでも一応2秒くらいで動く。
モデル三本柱
モデルに関しては、サイズや種類から一般人に手が届く範囲で三本柱として挙げます
前提
量子化
特記なき場合はすべて4Bit量子化とする
①30B級 MoE - 性能とレスポンスのバランス
最低限AIエージェントとして成り立つのが30B級のLLMであると考えています。
少なくとも私の実証では、Qwythos9BやGemma4 12Bなどの10B前後では64kもしないうちに記憶があいまいになって作業が継続できなくなります。
その点、30BあればMoEであっても128kコンテキストに耐えることができます。
逆に64kに絞るなら10B級でも使えないことはないです。
ただし、モデルによって全然違うので、30B級なら何でもいいわけではありません。
おすすめ
Qwen3.6 35B-A3
Ornith 1.5 35B-A3 (ギリ)
正直Qwen3.6 35B-A3一択。
まず異常な安定性を誇ります。信じられないくらい繰り返しが出にくいです。さらに思考も短いうえに回答の精度もアクティブ3Bとは思えないレベルです。
いろんなファインチューニングが出回っていますが、結局ベースのこいつが一番なんですよね。
非推奨
Gemma4 26B-A3
Ornith1.0 35B-A3 (Qwen3.5チューニング)
Agents A1 (Qwen3.5チューニング)
Qwen3.5 35B-A3
非推奨は単純に`繰り返しに陥りやすいから`という理由です。動かせばわかりますがすぐ繰り返して進まなくなります。Gemma4は特に。
まぁこれに関してはQwen3.6の安定性が正直異常なんですよね。
Gemma4はさらに思考が長すぎるという弱点を抱えているので本気でお勧めできません。
いろんなところでGemma4を紹介しているのを見かけますが、128kでほんとに丸投げして動いたんですかね?
②30B級 Dense - 高性能とサイズのバランス
Denseなので安定した能力を備えているモデルばかりです。MoEより圧倒的に安定感が増し、指示追従性も向上が見られます。
32GのVRAMを持ったGPUがあるならこれが一番の選択肢でしょう。
iGPUでは演算能力不足なのでお勧めできません。
おすすめ
Qwen3.8 27B
Qwen3.6 27B
muse glimmer 30B
Gemma4 31B
非推奨
Bonsai 27B
Denseモデルは普段あまり動かさないのでバリエーションが少ないですが、基本は安定して動くと思って構いません。
Bonsaiは特殊な1.7Bitなのでダメでしたという感じ。
Qwen3.8は一番新しいので能力も高いです。仕様書丸投げしても大丈夫です。
muse glimmerはツールコール安定性はQwen3.8より上なんですが、能力は少し低い感じですね。
Gemma4はDenseなら安定しているので載せましたが、思考が長いのでどちらかというとおすすめしません。
③100B級 MoE - 高性能に極振り
100Bを超えると一段階ステージが上がります。指示追従性やローカルにしては難しいタスクでも完遂する能力があります。
高性能iGPUならこっちが視野に入ります。30B級Denseよりも100BMoEのほうが軽快に動くなんてことも。
逆にGPUの場合はシステムRAMが足を引っ張るので統合のiGPUに負けます。
おすすめ
Laguna S2.1 (118B-A8)
Qwen3.8 Flash Next (125B+51B-A6) (Q3)
DeepSeek v4 flash (284B-A13) (Q2)
Step v3.7 flash (196B-A11)
非推奨
Ling 3.0 flash (124B-A5.1)
まずはLaguna S2.1をお勧めします。118B-A8という丁度いいベストサイズでありながら能力も確かです。
合計RAMが60GBあればIQ4 XSが載り、Radeon 8060SならPP300近く出ます。TGは帯域依存ですが20近く出ます。
メモリに余裕がある場合はQwen3.8がおすすめ。3Bitなら76GB程度から使え、Lagunaと同等程度のパフォーマンスで動きます。
QwenシリーズなのでLagunaより日本語も得意なので使えるならこっちがいい。さらにビジョン対応なので画像も行けます。
DeepSeekは2Bitに量子化しても80GBを超えます。ただしLagunaのさらに上の安定感を得ることができます。ただし相応に遅い。
モデル セット利用三本柱
100B級モデル群
OpenHands放置開発Laguna S2.1 IQ4 XS - 128k 60GB
Qwen3.8 Flash Next IQ3 XXS - 128k 76GB
30B級MoEモデル群
Hermes自動化 / ZooCodeペアプログラミングQwen3.6 35B-A3 IQ4 XS - 128k 20GB
小型モデル群
コンテキスト圧縮共通(1分で自動アンロード)
単発の簡単なチャットなどGemma4 E4B IQ4 NL - 128k 6GB
合計約86GB + CRAM 32GB = 118GB
128GBのRyzen AI MaxPCなら全部乗ります。
「ほかの何かをしてる時はこのモデルが載らない」では意味がありません。常用する以上、いつどのタイミングでどのモデルが呼ばれるかわかりません。
このセットは全ロードが発生しても対応できつつ、各種要求の品質を達成できる黄金比だと個人的には考えています。
Gemma4が載らないなら圧縮をQwen3.6にやらせるのもありですね。とにかく100Bで圧縮だけは避けたい。PPで死ぬ。
ハードウェア活用三本柱
iGPU x 広帯域メモリ
100B級を住まわせて放置開発のメイン会場。
広帯域メモリによりデコードが圧倒的。dGPU
VRAM24G以上あれば30B級モデルはこっちにお引越し。
16GBだったとしても、圧縮モデルをこちらにロードするだけで超爆速要約。特にZooCodeなど任意のタイミングでコンテキスト圧縮しやすいプラットフォームと相性がいい。dGPU x システムメモリ
主にミドルスペックGPUと一般的なメモリの組み合わせ。
RTX5070TiとDDR5 64GBなど。
この場合でも、cpu-moeを用いることで、MoEモデルなら30B級を実用レベルの速度で稼働できる
私の場合はQwen3.6でペアプログラミングはRadeon 8060Sですが、圧縮はRTX5070Ti(VSCode入ってるPCがゲーミングPCなので)に投げることでほぼ一瞬で終わります。
RTX5070Ti機単体のQwen3.6 35B-A3はこんな感じ。別に悪くはない。
ちなみにWSL2のDocker内。
prompt eval time = 14941.97 ms / 11308 tokens ( 1.32 ms per token, 756.79 tokens per second)
eval time = 26383.82 ms / 725 tokens ( 36.39 ms per token, 27.48 tokens per second)
total time = 41325.78 ms / 12033 tokens
(b=8192/ub=4096)RAM: 18G => 35G / VRAM: 1.2G => 5.7G
MoEだとVRAMが空くのでこれだと8GBのモデルでも大丈夫ですね。
PPは終始落ち込まないので余力有。
まとめ
今回はローカルLLMの活用法を様々な三本柱という形でまとめてみました。
用途によって最適なツールは変わりますし、またツールによって最適なモデルも変わります。
また、数か月もすれば特にモデルは順位が入れ替わります。
自分の環境にあった最適な方法でローカルLLMを満喫しましょう!
リンク集
感想投稿フォーム
コメントは公開で恥ずかしい!! Rcatだけに送りたい人向け
