ローカルJev互換環境 ollaya使い方

「System One Decision ModelのJev互換のローカル環境を簡単に建てられるようになったから試してみたよ」

そもそもJevって何？

note上にある説明は結構間違ってたり、変なのも多いので簡単に触れておきます。

TypeSafe AI社が出したJevと言われる新しい「System Oneモデル」が最近流行っています。
これは、今流行の生成AI 言語モデル(LLM)と異なり、文章を生成しません。

代わりに直感に基づく判断、分類をやってくれるモデル(Decision Model)です。

具体的には、「Yes/No判断」「選択肢からの選択」「スコア付け」をあらかじめ定められた形でできるゼロショット型の自然言語入力可能な分類器です。
説明文や解説などの文字出力は全くできません。

System Oneとは、いわば即答・直感のことを指します。

最近のLLMのようにじっくり考えて答えを出すのではなく、GPT-4o時代のように直感で即答する仕組みに近いので、複雑な問題は取り扱えませんし、普通に間違ってる判断も平気で出てきます。

(仕組みとしても、GPT-4oを1文字出力状態にし、内部計算も取り出すようにしたに近いものがあり、後で紹介するローカル版の一部もそういった形式です)

利点

• 超安価で超高速 (数百ミリ秒で応答が返る)

• 事前の訓練が不要

• 自然言語で質問・入力できる。テキスト形式なら任意の情報が扱える。

• 従来の分類器では扱えないコンテキストサイズが扱える

• わかりやすく明確なAPI

• 1回の呼び出しで大量の質問を同時に処理できる

• 自信度が機械的に算出されており、低ければ別の手段を試すなどができる

• 選択肢にない出力や間違った形式の出力をしない (これを公式はハルシネーションゼロと言っています)

欠点

• System Oneなので複雑な問題は間違う

• 単純な問題でも全然駄目なときはダメ

• 質問や選択肢の順番、質問の仕方で結果が簡単に変わる

• ハルシネーションも普通にする

• 文字や説明文を出すのには使えない

本物のJevを使ってみたい場合は、Jev公式サイトで登録する(毎月5ドルの無料枠あり)か、OpenRouterを使うなどの手があります。

OpenRouterは独自の /api/alpha/decisions エンドポイントのほか、
Jev互換の /api/v1/systemone エンドポイントもあります。

試した限り、公式はCORS制限がきついのでOpenRouterがおすすめです。

どんな場面で使えるの？

例えば私の作ってるSlowDialogでは、ユーザーの発言意図の自動分類に使っています。

コミュニティで使われている例や、Jev公式の例などを抜粋すると

• 文書検索のときに関係なさそうな文章を分ける

• お客さんの要求に合わせて応対部署を切り替える

• 質問の難易度に合わせて投げ先のAIを切り替える

• 文章のカテゴリ分けやタグを選択する

• AIやヤバそうなことを言いそうなときに止める

• スパムメールを仕分ける

• AIが危険な処理をしそうなときにブロックする

• 文章同士の関連度を求める数値をスコアで作り出す

• お客さんのストレス度を測る

• バグの深刻度を判定して、優先度を決める

• ブラウザ内の要素を判定して、ボタンを高速に探してクリックする

• 文章から適切な香りを選定してアロマを起動する

• 今AIに必要な情報を判定してそれだけを渡す

• 検索キーワードに対して適切なデータベースを切り替える

• 音声コマンドを判定し、即応可能な操作はすぐに実行する

• 今、AIに話しかけているのか独り言なのかを判定し、AIが必要なときだけ応対する

• 今、どのAIに話しかけているのかを判定し、適切なAIだけを起こす

• 記録する必要がある情報かどうかを判定し、必要な情報だけを記録する

注意: JevおよびSystem One/Decision Modelは、仕組み上、確率的に大きく誤った判断や誤差が普通に発生します。
一方で、Jev公式サイトのユースケース例には、明らかにAI倫理上、不適切な例やEU AI Act違反になりかねない例も含まれています。実際に自分で使うとき、特に業務で使う前にはかならず、「この使い方は問題ないのか？」を確認してください。

デザインパターンの参考もおいておきます。

ollayaとはなにか

さて本題です。

このような高速・低価格なJev/System One/Decision Modelは、いろいろな情報を沢山扱いますから
「ローカルで動かして機密情報も取り扱いたい」とか
「常に一定速度で動いて欲しい」とか
「こんなシンプルな動きならPC上で動くんじゃない？」とか
そういう話になります。

そのため、ローカルJev互換のソフトウェアも雨後の筍のように出ていますが、例のごとくセットアップは専門知識が要ります。

専門知識不要でローカルLLMを動かすにはollamaやLM Studioなどがありますが、そのローカルJev版がollayaです。
※ollamaともTypeSafe AIとも関係ないプロジェクトのようです。

ダウンロード

ollayaのダウンロードは以下。

注意: ollaya含めJev互換環境はどれも出たばかりの産物であり、
安全性が確定していません。導入は自己責任で！

Windows版とLinux版と諸々あります。

Windows Desktop版

とりあえず試したい場合

インストールして起動すると以下のようになります。

deciderを使ってみましょう。

Downloadボタンを押すと、モデルのダウンロードが開始されます。

インストール完了

モデル画面の下の表示から、判定を試すことができます。
(ノートPCだと重すぎたので0.8bに変更)

QuestionsをCustom JSONにすることで、任意のJev形式のJSONが使えます。

また、http://127.0.0.1:11435/ でサーバーが立っています。
Jev互換のエンドポイントも動いているので、BaseURLを切り替えることで既存アプリなども動きます。

一般的なノートPCでも動きますが、かなり遅いです。
GPU搭載PCで使うのをおすすめします。

ローカルで使うにはこれでいいのですが、サーバーマシンに入れておいてTailscaleなどから使う場合は、アクセス元の開放が必要です。(ollamaでもおなじみですね)

スタートメニューの右クリック→「システム」→「システムの詳細設定」→「環境変数」→「{ユーザー名}のユーザー環境変数」→「新規」で以下を追加します。

OLLAYA_HOST=0.0.0.0:11435
OLLAYA_ORIGINS=*
OLLAYA_KEEP_ALIVE=24h

画面でいうと以下のようになります。

変更が正しくできていると、ollayaを起動し直したときに、ファイアーウォール警告が出ますので、許可します。

うまく行かないときは、右上のStop/Startを試してみるか、PCを再起動してください。

…と、説明したはいいものの。

これをやると、設定画面が機能しなくなるようです。
なんでやねん。

以下を削除すると治ります。

OLLAYA_HOST=0.0.0.0:11435

Linux CLI版

サーバーとして起動する場合

コマンドを貼り付け、管理者パスワードを入れればインストールが始まります。

なお、地味に記載されていますが、GPUを使うにはx86-64環境が必要です。DGX Spark環境ではCPU動作になります。

$ curl -fsSL https://ollaya.dev/install.sh | sh
>>> Installing to /usr/local needs sudo (set OLLAYA_INSTALL_DIR=$HOME/.local to                                                                                     avoid it)
[sudo] パスワード:
>>> Installing Ollaya 0.7.3 (linux-arm64) to /usr/local
######################################################################## 100.0%
WARNING: NVIDIA GPU found, but GPU acceleration is only packaged for x86-64 so f                                                                                    ar; Ollaya will use the CPU
>>> Downloading ollaya-linux-arm64.tar.zst
######################################################################## 100.0%
>>> Creating the ollaya system user
>>> Adding gpsnmeajp to the ollaya group
>>> Creating the ollaya systemd service
Created symlink /etc/systemd/system/default.target.wants/ollaya.service → /etc/s                                                                                    ystemd/system/ollaya.service.
>>> Installed Ollaya 0.7.3: /usr/local/bin/ollaya
>>> The Ollaya API is available at http://127.0.0.1:11435 (systemd service: olla                                                                                    ya)
>>> Get started:  ollaya run laya

正常に起動すると、localhost:11435で待ち受けます。

ollaya run decider

でモデルを導入して、実行できます。

$ ollaya run decider
pulling manifest
pulling edb7171b63ce: 100% ▕████████████████████▏     443 B/443 B     11.03 KiB/s 
pulling bfba1f3d3531: 100% ▕████████████████████▏  7.66 MiB/7.66 MiB  16.98 MiB/s
pulling 1bf79b6aa696: 100% ▕████████████████████▏  3.51 GiB/3.51 GiB  32.28 MiB/s
pulling 06b9509352d2: 100% ▕████████████████████▏ 19.06 MiB/19.06 MiB  9.27 MiB/s
pulling 50a9e0dbb96d: 100% ▕████████████████████▏  8.44 KiB/8.44 KiB  43.96 KiB/s
pulling 45e3a2cf8b73: 100% ▕████████████████████▏     259 B/259 B      6.20 KiB/s
pulling b4d9d0d19903: 100% ▕████████████████████▏ 10.04 KiB/10.04 KiB 242.56 KiB/s
verifying sha256 digest
writing manifest
success

decider has no built-in questions, so it answers the triage preset. Choose with --preset NAME (triage, email, guard, moderation, router, agent) or --questions FILE.
Enter a state to decide about (/? for help, """ for several lines).
>>>

なにかメッセージをいれると、デモ用の質問の判定が行われます。
この環境で任意の質問をするには、Jev形式のJSONが必要です。

>>> 課金失敗して困っています
intent            billing_question              ██████████░░░░░░ 0.60
is_urgent         no                            ████████████████ 0.99
frustration       1.62 / 3  clearly annoyed     ██████░░░░░░░░░░ 0.39
refund_requested  no                            ████████████░░░░ 0.76
churn_risk        no                            ████████████░░░░ 0.76
>>> /help
Available commands:
  /set questions <file>   Use the questions in a JSON file
  /preset <name>          Use a built-in question set (triage, email, guard, moderation, router, agent)
  /show                   Show the model and the current questions
  /clear                  Clear the screen
  /bye                    Exit
  /?, /help               Help for a command

Enter a state to decide about. Use """ to begin and end a multi-line state.
>>>

Ctrl+Dあるいは/byeで終了します。

ローカルで使うにはこれでいいのですが、サーバーマシンに入れておいてTailscaleなどから使う場合は、アクセス元の開放が必要です。(ollamaでもおなじみですね)

sudo nano /etc/systemd/system/ollaya.service

で設定ファイルを開きます。
以下の★の箇所を変更しておくことをおすすめします。
アクセス元制限の解除と、モデルの開放処理の延長)

[Unit]
Description=Ollaya Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollaya serve
User=ollaya
Group=ollaya
Restart=always
RestartSec=3
Environment="HOME=/usr/share/ollaya"
Environment="OLLAYA_HOST=0.0.0.0:11435" ★
Environment="OLLAYA_ORIGINS=*" ★
Environment="OLLAYA_KEEP_ALIVE=24h" ★
Environment="OLLAYA_MODELS=/usr/share/ollaya/.ollaya/models"

[Install]
WantedBy=default.target

以下のコマンドで反映します。

sudo systemctl daemon-reload
sudo systemctl restart ollaya.service

実際にアプリで使ってみる

/v1/systemone エンドポイントに対応しているアプリなら使うことができます。拙作SlowDialogで使ってみましょう。

もし環境がセットアップ済みでない場合、「Download ZIP」でダウンロードして展開し、index.htmを開いてください。

設定画面の「意図」タブから、System one 自動意図分析を有効にします。

デフォルトではOpenRouterになっていますので、ollayaに合わせた設定に書き換えます。ここでは

• BaseURL: http://127.0.0.1:11435/

• APIキー: 適当な文字を数文字

• モデル名: decider:0.8b

としました。

こんな表示が出たら「許可」を押してください。
(127.0.0.1をセットするとこうなります)

入力欄にメッセージを入れてみましょう

正常に判定できると以下のように出ます。

判定結果をクリックすると、判定の詳細が出ます。

こうなるときは、なんか設定がおかしいか、ollaya側の設定が足りていません。

以下が出るときは、アクセス集中か、CORS設定ミスです。

422エラーが出るときは、モデルや手法のスペックに対して、アプリケーションが対応していません。(例えば、対応外の言語、選択肢の数が多すぎるなど。Jev公式でできても互換品ではできないものがあります)

「…とまあ、紹介してみたはいいものの、まだまだ不安定な挙動が多いよ。出たばっかりで枯れていないからね。参考になれば幸い。」