
Runを押した瞬間に返ってくるAI。でも、チューニングは驚くほど生々しくて熱い|Jev
前回の記事の最後に「実際に使ってみないと」と書いていましたが、さっそく使ってみました。
Runを押した瞬間に、結果が返ってきました。
最初の感想は、とにかく「速い」です。
チャット欄がない。「関数呼び出し」に特化した画面でした
Jevは、文章ではなく、選択肢と確率を返す「しゃべらないAI」です。
高速な「判断」の出力に特化したAIモデルですね。
投げられたコンテキスト(state)と、事前に定義された質問(Questions)に対して、あらかじめ決められた選択肢や確率値(Typed Decisions)のみを返す感じ。
State → Questions → Typed Decisions
招待制だったので待っていたのですが、何やら使えるようになったみたいで、さっそくお邪魔しました。

とりあえず触ってみよう
先に言っておくと、今回確認したのはPlaygroundまでです。
実際の障害振り分けのような実データは、まだ試していません。
画面を開いて、まず「おっ」と思ったのは、チャット欄が完全にないことでした。
左にState(入力)とQuestions(判定ルール)、右にResponse(結果)が並んでいるだけです。

右上の「</>」からは、StateとQuestionsをTypeScript・Python・cURLのコードにできるようでした。
チャットというより、「関数呼び出し」に特化したツールに近い感覚です。
(Postmanみたい)
1文字ずつ待つ感覚が、一切なかった
「竜巻の接近」という口語表現から空の色を分類させ、選択肢の定義方法で結果がどう揺らぐかを比較するチュートリアルを試してみます。
Runを押すと、結果が一気に返ってきます。
画面には「85ms + 162ms」と出ていました。
いや、はやっ。
普通のチャット型AIのような、ストリーミングで1文字ずつカタカタ出てくるのを待つ感覚が、一切ありません。
軽いバックエンドAPIを叩いた時と、同じ速度感です。
Questionsには、sky_colorとsky_color_with_descという2つの質問が入っています。
2つまとめてRunしても、別々に待たされることはなく、1回で2つ分の結果がまとめて返ってきました。
答えではなく、確率と確信度が返ってきた
Stateには「Tornado's a-comin」(竜巻が来ている)と入っていて、1つ目のsky_colorは「空は何色?」と聞く質問です。
Questionsの型にはchoice・noul・scoreの3種類があるようで、これはchoiceです。
選択肢は7つあって、画面に出ていたのは確率の高い上位3つでした。
seafoam green 63%
gray 34%
indigo 3%
決め打ちの答えではなく、選択肢ごとの確率で返ってきます。
それとは別に、判断全体のConfidence(確信度)も付いていて、今回は56%でした。
ちなみに、チュートリアルのカードには、竜巻が近づくと空が緑に見えることがある、という趣旨の説明が出ていました。
同じStateなのに、質問の書き方で1位が入れ替わった
2つ目のsky_color_with_descは、選択肢に説明(description)や色の値(hex・rgbなど)を足した質問です。
Stateは、同じ「Tornado's a-comin」のままです。
返ってきたのは、こちらです。
indigo 41%
seafoam green 36%
gray 23%

1位が、seafoam greenからindigoに入れ替わりました。
Confidence(確信度)も、56%から30%に下がっています。
説明が加わったことで、「竜巻前の暗い空」という文脈が、indigoの側に引き寄せられたのかもしれません。
説明を足せば、判定を精緻にできる可能性があります。
一方で、書き方しだいで判定が揺れて、迷い(確信度の低下)も出ることがあるようです。
チューニングの奥深さというか、めっちゃ生々しくて熱いなと思いました。
前回「Jevには、何を基準に選ばせるか」と書きましたが、その基準の書き方で結果が動きうることは、実物で見えた気がします。
期待は上がった。ただし、ここまではチュートリアル
前回は「数字だけだと、ゲームチェンジありえるぞ」と書きました。
触ってみて、その期待は上がっています。
「入力ガードレール」や「自然言語によるAPIルーティング」のような直感的な判定を、この速さで安く組み込める。
公式の数字どおりなら、すべてを重いLLMに投げる設計から、AIアプリの作り方が変わりそうな予感がします。
JSONが壊れる、余計な前置きや勝手な長文が付く、といったことは、構造上は起きにくいはずです。
自由な文章を作らず、決めた選択肢と数値だけを返す作りだと理解しています。
ただ、まだ「絶対にない」とは言えず、検証の域を出ていません。
今回、竜巻の空は見ました。
なかなか奥深いぜ!Jevさんよ。
次は、自分のデータで動かしてみたいです。
ありがとう。それではまた。