Pixel11 Pro FoldでローカルLLM動かしてみた ～TPUのぶっこわれ最強性能が明らかに～

こんにちはRcatです。
Pixel 11 Pro Foldを衝動買いしてしまいました。後悔はしていません。
ところで、後から知ったのですがG6チップG5より弱いらしいですね?
でもどうやらその原因がTPUに力を入れてるからだとか。
TPUだと?つまりはLLMだな?つまりはやるしかないな?
というわけでLLM動かします。

結果TPUはとてもやばいことがわかりました…。

次回:専用アプリを自作してTPUを叩く

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。

概要

急にどうしたの?

スマホは廉価版なRcatです。今まで9a使ってました。
なので本来ならありえない選択なんですが…まぁ単純に電子書籍とかに良さそうだなぁと前々から思っていたので、ポチってしまったって感じですね。
pixel信者(プレーンなAndroid最高)には他メーカーという選択肢がないのでこやつになるわけですね。

半導体の影響で12は30万では買えないかもしれませんし。あるいは為替でもっと安くなるかも…未来はわかりません。ほしいなら今買うのです。

開発者向け地味に便利な使い方

これに限るw
SSH今まで使いづらかったのがなんということでしょう。
PCのように操作できるようになりました。
ヒンジが固いので任意の角度で止まるのがまたいい。

TPUを使ってスマホでLLMを推論する

さて、ここからが本題です。
まずは準備から。

Edge Galleryを入れる

そこそこ前からあるアプリです。初期はapk自分で入れたんですが今ストアから入るんですね。
このアプリを入れるとスマホでローカルLLMが使えるようになります。

AI Chatを開くとこんな感じ。
このうち、Gemini Nanoって書いてある方がTPUが使えるもの。
画面ではTryになってますが、初期ではなってません。なので次へ

AI Coreのベータ版を受け取る

利用できないときはリンクになっているので、そこからAICoreのプレビューに参加し、ベータ版のアップデートを受け取ります。
しばらくしてアップデートできるようになったら更新して準備完了

AI Coreを開く

ベータ版になるとシステムのドロワにアプリアイコンが出てくるようになるのでそこから起動します。
Edge Galleryから開くとエラーになるので直に開いてください。

あとは簡単チャットするだけ!

推論パフォーマンス

選べるモデルはGemini NanoのFastとFullで、FastがGemma4 E2Bベース、FullがGemma4 E4Bベースっぽいですね。

Gemma4 E2B TPU

まずは軽いほう

いや、なんじゃそのパフォーマンス。特にPPがぶっこわれ。
4000って、ハイエンドPCのiGPUでも出ないぞ。
このレベルだと普通に商用AIと話すか、遅延がない分こっちのほうが早かったりするレベル。
もう翻訳はこれでいいんじゃない?

Gemma4 E4B TPU

次はその倍のサイズのE4Bです。
私個人的には日常遣いならこれで十分と評価しています。エージェントはダメ。

さすがに9B(E4Bは特殊な9B)だと数値が半減しましたがそれでも早い。
これスマホなんだよね・・・?

ちなみにこの数値がどの程度すごいかというと、これを見てください。

この画像はRTX5070TiでGemma4 E4B IQ4_NLモデルをllama.cppで動かしたときの数値。
バックエンドもモデル構造も違いますが、Gemma4 E4Bであることは共通です。

このTPU、RTX5070Tiに対して PPが30% TGが20%のパフォーマンスが出るという言い方をしてもいいのかもしれない。しかもバッテリー駆動と300Wの差があるのもやばい。
こう考えると最適化って化け物だな。

Gemma4 E4B GPU

ではナーフされたとかいうGPUでも動かしていきます。
AICoreをやめて、Edge Galleryの方から非TPUのものを選ぶとGPU推論できます。

サマリーがないので自分でやらなきゃなんですが
待機時間が約66秒、推論時間が108秒です。

トークナイザーが同じであると仮定した場合、PPは150/t
TGは出力が不明なので大体ですが体感5～8t/s程度に感じます。
おそ。というかスマホで動く時点でこんなものでもいいはず。

まとめ

パフォーマンス多種比較

デバイスやエンジン、モデル構造ごちゃまぜですが、モデルを基準として一応過去データを掲載してみます。

• Gemma4 E4B

  • Tensor G6

    • TPU

      • PP:1950 / TG:22.3

    • GPU

      • PP:150 / TG:8

  • RTX 5070 Ti (CUDA)

    • PP:6900 / TG:107

  • Ryzen AI Max 395

    • GPU(ROCm)

      • PP:1400 / TG:35

• Gemma4 E2B

  • Tensor G6

    • TPU

      • PP:4310 / TG:47.9

  • Ryzen AI Max 395

    • NPU (FastFlowLM)

      • PP:815 / TG:14

所感とまとめ

TPUとそれに最適化されたモデル…化け物です。
これってTPUがすごいのか?
もしそうならNPUなんて捨ててみんなTPUにしようぜと思うのだが…まぁTPUって確かGoogleのだから入れようにも入れられないか。
というか、Radeon8060SのハイエンドiGPUすらTPUに負けてるんだがw
デコードはメモリ帯域だからそこは仕方ない。

それではまたお会いしましょう

リンク集

感想投稿フォーム

コメントは公開で恥ずかしい!! Rcatだけに送りたい人向け

メンバーシップの説明

【ローカルLLM】バイブコーディング完全ガイド

【ローカルLLM】仕様駆動開発で、下流を丸投げ!

【ローカルLLM】OpenHandsで丸投げ開発

【ローカルLLM】自己成長AIエージェントHermesをホスト

【ローカルLLM】FastFlowLMでRyzan AIのNPUを叩く

ミニPCにLinuxをインストール