「そんなデカいモデル、ローカルで動くわけない」と思った私が、GGUFとMoEの魔法に納得した話

混元

デカいモデル

2026年、ローカルLLMが立て続けに揺れている。

「ついにここまでの怪物が、しかも立て続けにオープンソースで」とびっくりする一方で、ローカルLLMを触ってきた人なら誰もがこう思ったはず。

「……いや、そんなバカデカいやつが、GGUF（ローカル環境向け形式）になったところで個人PCで動くわけないじゃん」

そう思っていたのだけれど、調べていくと、これはただの無茶な話ではなく、Hy3もMiMo 2.5も同じ「筋の通った、地味に美しい解決策」の上に成り立っていることが分かった。

結論：構造×形式の噛み合わせ

Hy3、MiMo 2.5、どちらもGGUF化され、個人PC（特にMac）で動く余地があるのは、「MoE（混合専門家）という構造」と「GGUFという収納上手な形式」がカチッと噛み合っているから。

言葉遊びでも無理矢理な圧縮でもない。2社が別々に辿り着いた答えが、たまたま同じ形をしている——そこが面白い。

紐解き①：体重2950億と3100億、でも同時に働くのは1割未満

Hy3の中身は、2950億人分の専門家チーム。だが質問が来るたびに全員が働くわけではなく、実際に脳を動かすのは210億（21B）だけ。

MiMo 2.5も同じ発想で、3100億人分のチームのうち、実際に働くのは150億（15B）。

どちらも「全体の1割にも満たない人数だけがその場で呼び出される」という点で共通している。「巨大な図書館だけど、毎回司書が必要な棚しか開けない」くらいのイメージでOK。

紐解き②：VRAMの限界を超える「はみ出しロード」

GGUFの強みは、グラボのメモリ（VRAM）に収まらなくても、PCのメインメモリ（RAM）に賢くはみ出せること。特にMacのようにVRAMとRAMの境目がそもそもない「Unified Memory」環境では、これが圧倒的に効いてくる。Hy3・MiMo 2.5、どちらの巨体を迎え入れるにも、この「境目のなさ」が効いてくる。

紐解き③：数学的なダイエットでサイズを1/4に

そして量子化。ざっくり言えば、数百GBの超高画質データを、その4分の1程度のドット絵に丸め込むようなもの——中身の仕組みは今回は深追いしない。「なぜそれが可能か」より「そういう技があるおかげで手元に収まる」という結果だけ持ち帰ってもらえれば十分。

おわりに

MoEで「動かす部分」を減らし、GGUFで「置き場所」を広げ、量子化で「荷物」を軽くする。3つが揃って、Hy3のような巨大モデルも、MiMo 2.5のような巨大モデルも、ようやく個人PCの器に収まる。

昔の「量子コンピュータ」的な、遠い未来のハードウェアのイメージとは違う。「量子コンピュータ」を勉強していた方が知っているあの「量子」と最近のモデルを小さくしている「量子化」は混同しやすいけど、別の話し。

地味なソフトウェアの工夫が積み重なって、AIを手元に引き寄せている——それが今のローカルLLMの面白さだと思う。中国発の2つの巨人が、期せずして同じ方向を向いているのも、この流れの本気度を物語っている。

とはいえ、この理屈に納得できるが、普通の12～32GBでは歯が立たない。
私のPCも、全く無理。

#AI #ローカルLLM #Ollama #GGUF #Hy3 #Tencent
#MiMo2 .5 #Xiaomi #MoE #技術解説 #個人開発