最高AIモデルをケチる方が、結果的に高くつくことがある｜軽量モデルとの使い分けで見えた本当のコスト
どうも、久我レイジです。
最近、AIを使って開発をしていて、モデルの使い分けについて少し考え方が変わってきました。
高性能なAIモデルは、当然ながら利用できる回数やコストを気にします。
僕も何でも最高モデルに投げるような使い方はしていません。文章を少し直すだけだったり、単純な確認だったりするなら、そこまで強いモデルを使う必要はないと思っています。
だから以前は、まず軽いモデルでやってみて、難しくなったら強いモデルへ切り替える方が合理的だと考えていました。
今でも基本的には間違っていないと思います。
ただ、KR LABの開発で少し難しい工程に入ってから、「軽いモデルから試す」が必ずしも節約にはならない場面があることに気づきました。
軽いモデルを使ったのに、なぜか仕事が増えていく
最近のKR LABでは、WordPressそのものを作るだけではなく、サイトが壊れたときに本当に復旧できるのか、その仕組みまで検証しています。
ここまで来ると、単純にコードを書けば終わる仕事ではありません。
原因を調べて、設計を確認して、どこまで自動化していいのか判断し、危険なところでは人間の承認で止める。
ひとつの判断が、その後の作業に影響します。
こういう工程でモデルの判断が少しズレると、すぐに失敗するとは限りません。
むしろ厄介なのは、そのまま作業が進められてしまうことです。
あとから別の場所で問題が見つかって、「そもそも前の判断から見直した方がいい」となる。
すると、また原因を説明して、ログを読ませて、前提を整理して、別の案を考えることになります。
一回のAI利用だけを見れば、確かに安い。
でも仕事は終わっていないんですよね。
僕はここで、AIのコストを一回ごとの利用量だけで考えるのは少し違うのではないかと思うようになりました。
見るべきなのは、「このモデルを一回使うのにいくらか」ではなく、目的のところまでたどり着くのに何往復したかなのかもしれません。
「強いモデルを1回」と「軽いモデルを何回も」は、どちらが安いのか
例えば、比較的軽いモデルで原因を調べます。
一度目では原因を絞り切れない。追加情報を渡してもう一度調べる。
修正してみる。
別の問題が出る。
そこで強いモデルへ切り替えて、今までの経緯をもう一度読ませる。
こうなると、AIが使った計算量だけの問題ではなくなります。
僕自身が結果を確認する時間も必要ですし、どこまで進んだのかを把握し直す時間もかかります。作業を途中で止めて別のことをしていれば、頭の中で前提を戻すところから始めることもあります。
この「人間側の時間」は、AIの利用画面には出てきません。
でも、実際に仕事をしているとかなり大きい。
だったら、「ここは難しい」と分かっている場所だけは、最初から強いモデルを使った方がいい。最近はそう考えるようになりました。
最近のKR LABでは、その使い方をかなり意識するようになりました。
実際、復旧システムでは細かな修正を積み重ねるより、先にFrozen Builderを作る設計へ切り替える判断をしました。こういう構造そのものを見直す場面では、僕が使っている環境でも、使える範囲でかなり強いモデルや高い推論設定を使っています。
一方で、軽微な修正や確認まで全部そこへ持っていくことはしません。
全部最高モデルにすれば解決、という話でもないんです。
モデルを選ぶより先に、仕事の重さを見る
以前の僕は、AIモデルを見てから仕事を振り分けていた気がします。
これは高いモデルだから温存しておこう。まず軽い方で試そう。
そんな感じです。
でも今は、先に仕事を見るようになりました。
少し間違えても簡単に戻せる仕事なのか。
判断を外すと、その先の作業までやり直すことになるのか。
単純な生成なのか、それとも複数の条件を読んで設計そのものを判断する仕事なのか。
ここが違えば、同じAI作業でも使うモデルは変わります。
文章の言い回しを少し変えるだけなら、最高モデルを使う必要はありません。
逆に、システムの構造や復旧方法を決める場面で、モデルを節約するために何度も往復するなら、それは本当に節約なのか。
僕は最近、そこを疑うようになりました。
特に開発では、一回の判断ミスが、その一回だけで終わらないことがあります。
その判断を前提にコードを書き、テストし、さらに次の工程へ進んでしまえば、戻る距離は長くなる。
だから難所では、回答が豪華かどうかよりも、最初にどこまで全体を理解して判断できるかの方が重要になります。
これは実際にAIを使って長い作業を続けるようになって、ようやく実感してきたことです。
僕が節約したいのは、AI代より「無駄な往復」になってきた
もちろん、高性能なモデルほど使えば使うほどいいとは思っていません。
何でも最高モデルに任せていたら、それはそれで無駄です。
以前よりも、モデルの性能そのものより「どこに投入するか」を考えるようになりました。
AIの料金を見ると、どうしても高いか安いかで考えてしまいます。
僕もそうでした。
でも仕事として使うなら、本当に見るべきなのは月額や一回の利用量だけではなく、そのAIを使ったことで何時間短縮できたのか、何回やり直さずに済んだのか、なのかもしれません。
軽いモデルで何度も往復して、人間もそのたびに確認する。
それより、強いモデルで一度しっかり考えさせた方がいい場面は、僕の使い方ではかなり増えてきました。
最近の僕は、最高モデルを使うことよりも、使うべき場所で最高モデルを使わなかったことの方を気にするようになりました。
節約したつもりで、一番高い「自分の時間」を使っていた。
AIをかなり使うようになって、ようやくそこが見えてきた気がします。
こちらもおすすめ！
