メインコンテンツへスキップ
見出し画像

Runを押した瞬間に返ってくるAI。でも、チューニングは驚くほど生々しくて熱い|Jev

    前回の記事の最後に「実際に使ってみないと」と書いていましたが、さっそく使ってみました。

    Runを押した瞬間に、結果が返ってきました。
    最初の感想は、とにかく「速い」です。

    チャット欄がない。「関数呼び出し」に特化した画面でした

    Jevは、文章ではなく、選択肢と確率を返す「しゃべらないAI」です。
    高速な「判断」の出力に特化したAIモデルですね。

    投げられたコンテキスト(state)と、事前に定義された質問(Questions)に対して、あらかじめ決められた選択肢や確率値(Typed Decisions)のみを返す感じ。

    State → Questions → Typed Decisions

    こんなイメージ

    招待制だったので待っていたのですが、何やら使えるようになったみたいで、さっそくお邪魔しました。

    画像
    お邪魔すると表示された画面

    とりあえず触ってみよう

    先に言っておくと、今回確認したのはPlaygroundまでです。
    実際の障害振り分けのような実データは、まだ試していません。

    画面を開いて、まず「おっ」と思ったのは、チャット欄が完全にないことでした。
    左にState(入力)とQuestions(判定ルール)、右にResponse(結果)が並んでいるだけです。

    画像
    チュートリアルの画面

    右上の「</>」からは、StateとQuestionsをTypeScript・Python・cURLのコードにできるようでした。
    チャットというより、「関数呼び出し」に特化したツールに近い感覚です。
    (Postmanみたい)

    1文字ずつ待つ感覚が、一切なかった

    「竜巻の接近」という口語表現から空の色を分類させ、選択肢の定義方法で結果がどう揺らぐかを比較するチュートリアルを試してみます。

    Runを押すと、結果が一気に返ってきます。
    画面には「85ms + 162ms」と出ていました。

    いや、はやっ。
    普通のチャット型AIのような、ストリーミングで1文字ずつカタカタ出てくるのを待つ感覚が、一切ありません。

    軽いバックエンドAPIを叩いた時と、同じ速度感です。
    Questionsには、sky_colorとsky_color_with_descという2つの質問が入っています。
    2つまとめてRunしても、別々に待たされることはなく、1回で2つ分の結果がまとめて返ってきました。

    答えではなく、確率と確信度が返ってきた

    Stateには「Tornado's a-comin」(竜巻が来ている)と入っていて、1つ目のsky_colorは「空は何色?」と聞く質問です。

    Questionsの型にはchoice・noul・scoreの3種類があるようで、これはchoiceです。
    選択肢は7つあって、画面に出ていたのは確率の高い上位3つでした。

    • seafoam green 63%

    • gray 34%

    • indigo 3%

    決め打ちの答えではなく、選択肢ごとの確率で返ってきます。
    それとは別に、判断全体のConfidence(確信度)も付いていて、今回は56%でした。
    ちなみに、チュートリアルのカードには、竜巻が近づくと空が緑に見えることがある、という趣旨の説明が出ていました。

    同じStateなのに、質問の書き方で1位が入れ替わった

    2つ目のsky_color_with_descは、選択肢に説明(description)や色の値(hex・rgbなど)を足した質問です。
    Stateは、同じ「Tornado's a-comin」のままです。
    返ってきたのは、こちらです。

    • indigo 41%

    • seafoam green 36%

    • gray 23%

    画像
    Response(確率とConfidence)

    1位が、seafoam greenからindigoに入れ替わりました。
    Confidence(確信度)も、56%から30%に下がっています。

    説明が加わったことで、「竜巻前の暗い空」という文脈が、indigoの側に引き寄せられたのかもしれません。

    説明を足せば、判定を精緻にできる可能性があります。

    一方で、書き方しだいで判定が揺れて、迷い(確信度の低下)も出ることがあるようです。
    チューニングの奥深さというか、めっちゃ生々しくて熱いなと思いました。

    前回「Jevには、何を基準に選ばせるか」と書きましたが、その基準の書き方で結果が動きうることは、実物で見えた気がします。

    期待は上がった。ただし、ここまではチュートリアル

    前回は「数字だけだと、ゲームチェンジありえるぞ」と書きました。
    触ってみて、その期待は上がっています。

    「入力ガードレール」や「自然言語によるAPIルーティング」のような直感的な判定を、この速さで安く組み込める。
    公式の数字どおりなら、すべてを重いLLMに投げる設計から、AIアプリの作り方が変わりそうな予感がします。

    JSONが壊れる、余計な前置きや勝手な長文が付く、といったことは、構造上は起きにくいはずです。
    自由な文章を作らず、決めた選択肢と数値だけを返す作りだと理解しています。
    ただ、まだ「絶対にない」とは言えず、検証の域を出ていません。

    今回、竜巻の空は見ました。
    なかなか奥深いぜ!Jevさんよ。
    次は、自分のデータで動かしてみたいです。

    ありがとう。それではまた。

     
     
    世の中の「当たり前」を疑うのが癖の、 ビビりなパパエンジニア。 現在、うつ病の妻のサポート中。 子育てしながら、 時間とお金と向き合ってる関西人。 AIの進化についていくのに必死な毎日。 人生、楽しんだ者勝ち。

    あなたへのおすすめ