macOS で ChatMLX を使ってローカル LLM を動かす

tl;dr

• ChatMLX は macOS 向けの OSS のローカル LLM 向けチャットアプリ

• 英語、簡体字・繁体字中国語、日本語、韓国語をサポート

• 対応モデルは Llama、OpenELM、Phi、Qwen、Starcoder、Cohere、Gemma など

早速動かしてみます。下記のリリースページより dmg ファイルをダウンロード。

ダウンロードが終わったら dmg ファイルを開いて、アプリケーションフォルダに ChatMLX.app を移動させましょう。

ChatMLX.app を開くと下記のような警告が表示されるかもしれません。一度「Done」を選びましょう。ただし、慎重な方はコードに変なコードが埋め込まれていないかご確認ください。

設定アプリを開いて、プライバシーとセキュリティの中に ChatMLX.app についてブロックしたよと記載があるので「Open Anyway」を押しましょう。

再度下記の警告が表示されますが、今回は「Open Anyway」を押しましょう。パスワードが求められるかもしれません。

左上の歯車アイコンを押して設定画面を開きましょう。いろいろと設定項目が並んでいますが、まずはモデルのダウンロードをしましょう。MLX Community というところからダウンロード可能です。

試しに Llama 3.2 1B Instruct 4bit を検索、ダウンロードしてみましょう。

モデルのダウンロードが終わるとモデルが選択できるようになっています。新規チャット（設定の隣の＋）を押して、先ほどダウンロードしたモデルを選択してください。

以上となります。macOS をお使いの方は遊んでみてください。