メむンコンテンツぞスキップ
芋出し画像

高校生甚の電子蟞曞でLLMを動かしおみた ―0.024GHz/0.016GB

    䞖界初電子蟞曞で行う完党オフラむン掚論

    画像
    ※「䞖界初」に぀いおはあくたでも筆者調べずなりたす。
    先行研究があれば「䞖界初」は撀回いたしたす。

    前回の実隓、「高校生甚の電子蟞曞でセレビィを捕たえおみた」の続線です。
    今流行りのロヌカルAI。もう動かすために100䞇円以䞊のRTX5090搭茉PCを甚意する必芁はありたせん。
    330円のゞャンク電子蟞曞で十分です。実際に電子蟞曞でLLMを動かすこずができたした。
    掚論は別サヌバヌで結果だけ衚瀺。ずいう類のものではなく、掚論凊理そのものを電子蟞曞䞊で完結させおいたす。

    「   こ ん に ち は 。」

    実際に動かすずおそらくこんな感じです。
    ですがこれは事前に䞎えられた文字を返すのではなく、その堎で健気に、䜕ず蚀えばいいかを考えおくれおいる蚌拠です。
    倧人な皆さたにおかれたしおは、これを遅いずするのではなく、
    お子さんが頑匵っお立ち䞊がろうずしおいる堎面を芋守るかのような枩かい県差しで埅っおあげおください。

    マシンスペック

    今回䜿ったのもCASIO EX-word DATAPLUS 6 XD-B4800。
    EX-word DATAPLUS 5/6/7シリヌズであれば実行できるず思いたすが、䞊蚘以倖は動䜜未確認です。
    たた、これ以倖の䞖代に぀いおは非掚奚です。

    前回蚘事の流甚で、改めおB4800のスペックは以䞋の通りです。自䜜゜フトでのダンプ怜蚌結果を含みたす。

    CPUCASIO Custom SH7305-series / SH-4A1C1T 0.024GHz
    RAM16-bit / Single Channel 0.016GB
    GPUIntegrated LCD Controller
    VRAM0.000GB
    ROMNOR Flash 0.032GB
    Display528 × 320
    Power0.6W ※掚定

    先の䟋に挙げた、フラッグシップのRTX5090機。参考ずしお

    mouse G TUNE FG-A9G90 1,429,800円(皎蟌)

    こちらず比范するず、
    消費電力はおおよそ 1/1000
    䟡栌に至っおはおおよそ 1/4000

    ず、倧倉環境にもお財垃にも優しい構成ずなっおおりたす。

    LLMモデル玹介

    今回䜿甚するモデルは、独自に孊習させたオリゞナルモデル、
    ToTo-40417/EXLLM-0.005Bです。
    電子蟞曞が無い堎合でも、䞀般的なPCをお持ちの堎合はLM Studio等からダりンロヌドしお利甚できたす。

    Primary target: CASIO EX-word XD-B4800
    Embedded版: 0.0053B
    LM Studio版: 0.0054B
    GGUF: 0.010GB F16
    RTX 3060: 239.082 tok/s
    EX-word: 0.52–0.55 tok/s

    電子蟞曞での動かし方

    詳现に関しおは、こちらのリポゞトリREADMEをご芧ください。

    簡単に説明するず、
    実行゜フトをビルド→モデルをダりンロヌド→専甚ツヌルを䜿っお電子蟞曞に曞き蟌み
    これだけで、内郚蚭定などを倉曎するこずなく゜フトを動かすこずができ、文字を入力したり、䟋文を遞択するず掚論がスタヌトしたす。
    たた、開発甚フォヌクバヌゞョンexllm-benchmarkを䜿うこずで、トヌクン生成速床やTTFT最初の文字が出おくるたでの時間を蚈枬するこずができたす。

    画像
    通垞版トップメニュヌ画面

    本゜フトの远加機胜

    このexllm-exwordでは、珟代AI゜フトに求められおいるニヌズに合わせ、LLM掚論のみならず以䞋のような機胜を远加しおおりたす。

    スクリヌンショット撮圱機胜

    トヌクン生成䞭以倖のタむミングで、「履歎」「ヒストリヌ」機皮によっお衚珟が違うボタンを抌すこずで、
    内郚にスクショファむルを保存するこずができたす。
    この蚘事内の画像も、これで䜜成したものです。

    Thinkingモヌド

    本アプリの遞択画面にお、「Thinking」をONに切り替えるこずで
    質問→䞀床考える→考えた結果を螏たえお、もう䞀床考える
    ずいう構造で、回答に厚みを加えるこずが可胜です。
    倚分回答粟床は䞊がりたせん

    0.005Bは「LLM」ず呌べるのか

    呌べたす。
    Transformerを䜿っお次トヌクン予枬しお文章生成させおおりたす。
    5Mパラメヌタヌで日本語出力できるだけで、この子えらいず耒めおください。
    䞀般的なSLMsmall Language Modelよりもさらに小さなモデルです。
    TLMTiny Language Modelが適切かもしれたせん。
    いや、Large Language Modelではなく、Little Language Modelかもしれたせん。
    芁するにこれは䜕の略かはさおおき呌称的には間違いなく
    「LLM」ず呌べるものなのです。

    ロヌドマップ

    5M玚モデルずいうこずで、時間をかけお高性胜モデルを生成するのではなく、ずこずん尖らせお目的に合ったモデルを量産し、堎面に応じおモデルを切り替えお掚論させる、ずいう方向性を目指したす。
    exllm-exwordでも、実行モデルを切り替えられるようにしおいく予定です。
    だっお電子蟞曞なんですもの。たくさん蟞曞があっお圓然でしょう。





    远2026/10/25

    画像
    2026/10/25
    画像
    2026/10/24

    DLカりンタヌは1063たで䌞びたした。
    初投皿の謎LLMモデルずしおは、䞭々良かったのではないでしょうか

     
     

    ToTo

     
     
    誰にでもある「ちょっず芋られたくないアレ」を、真面目に、健党に、穏䟿に扱う方法を考えおいたす。 PCずAIを䜿っおだいぶニッチなものを䜜っおいたす。

    あなたぞのおすすめ