定額AIプロバイダのNano GPT使ってみた

ケルベロスAI情報局

2025年12月27日 03:47

「あれ、結局NanoGPT使うの？」

「色々あってね」

下記の記事の続きです。

経緯

ローカルLLM環境のDGX Spark OEM (Asus GX10)を活用していて、一つ困ったことがあります。それが、「巨大なLLMを動かすとそれだけでメモリが埋まってしまう」問題です。

VRAM 128GBもあれば、GLM-4.7 (UD-Q1)とかが割と実用的な速度で動きます。それはとても満足なのですが、困ったことが上記のこと。

つまり、別のことをするために別のモデルを動かそうにも容量が足りないし、アンロードすると再読み込みに数分掛かります。

色々な用途で遊びたいんですが、やりたいことの都合上、LLMの性能も欲しい。(将来的には小規模なモデルに収めたい欲はあります)

というわけで、この前から目をつけていたNanoGPTの$8サブスクに手を付けてみることにします。

巨大なモデルはクラウドのサブスクで動かして、コンテキスト管理や他ローカルでしか出来ないものをローカルで動かそうというものです。

NanoGPTのサブスクについて

詳細は前回の記事を見ていただくとして、ざっくりいうと、月8ドル(1200円くらい)を払うと、オープンウェイトのモデルが使い放題になります。
Kimi K2とか、Qwen 3 235b A22Bとか、GLM 4.7とか、Deepseek R1とかですね。

これはWebサイトからも利用できますし、sillytavernや、拙作のChocolate　LM LiteなんかでもAPIから利用できます。

サービス自体はさらにGPT-4oとかも使えますがこちらは定額対象外。

もちろん使い放題と言っても、回数制限があり、
・1日当たり2000リクエスト
・月当たり6万リクエスト
~~のどちらか(選択可能)に引っかかると、一時的に利用できなくなります。~~

現在は、週6千万(60 million)トークンの制限になっているようです。

このサービスは、会話履歴をサーバーに保存しないことを売りにしています。Webサイトのチャットクライアントでも、会話履歴はブラウザに保存されるようです。

個人利用:サブスクリプションプランは個人の非営利利用のみを目的としています。サブスクリプションを商業目的で利用することは、アクセスの再販、商用製品の構築、複数のエンドユーザーにサービスを提供するなど、許可されていません。商用アクセスが必要な場合は、商用利用を明確に許可している従量制モデルをご利用ください。

NanoGPT

利用規約を見ると、nanogptは米国法人であり、所轄裁判所からカリフォルニア州で運営しているようです。

オトクなの？

正直場合によります。

1回あたりのリクエストでどれだけの情報量(=システムプロンプト、会話履歴、その他の情報)をぶち込むかで、お得度合いが変わってきます

そもそもオープンウェイトのモデルは結構安価です。

Kimi K2 Thinkingとかで、例えばOpenRouterだと
・$0.40/M input tokens
・$1.75/M output tokens
とかの価格です。

日本語1文字1トークンとざっくり考えると、1M=百万文字です。
つまり、1万文字入れると0.4ドル(約62円)、1万文字吐き出されると1.75ドル(約274円)というのがOpenRouterの価格になってるわけです。

で、1回の会話でどれだけのデータを送信するか、ですが、ChatGPT Plus(有料版)のコンテキストウィンドウが32Kトークン(約3万2千文字)です。

もし同等の会話履歴を詰め込んで話しているとする場合、1日に2000回リクエストしたとすると、入力だけで64Mトークンは行きます。1日で約4000円です。

AIと死ぬほど会話する人でないとまあこんな使い方はしませんが、世界観設定大量に詰め込んだ小説並みの会話を繰り広げたい人、大量の文書データを分析させたい人、コーディングエージェントを使いたい人など、用途で様々と思います。

逆に、リクエスト数制限であるため、1回あたりのリクエストのトークン量が少ない場合は、損するかもしれません。

まあ、都度チャージするとか、いくら掛かるかを気にしなくていいという安心感のほうが大きいかもしれませんね。