AIがAIを作る時代、人間はどこに介在すべきか

AIがコードを書き、別のAIがレビューする。AIがテストを作り、問題があればAI自身が直す。さらにAIが改善案を考え、結果を自動で評価し、次の改善につなげる。「AIがAIを作る」という話は、もうSFだけのものではありません。

ただしこれは、AIが人間から完全に独立して自己進化し始めた、という意味ではありません。AI研究やソフトウェア開発で人間が担ってきた生成、実装、実験、評価、改善の相当部分を、AI自身が担い始めているという意味です。

分かりやすい例が、Google DeepMindが2025年に発表したAlphaEvolveです。大規模言語モデルがプログラムを生成し、自動評価器が採点し、有望なものを残しながら改善を繰り返します。その改善によってGeminiの学習時間が1％削減され、2026年にはGoogleのインフラを支える仕組みとして、次世代TPU（Google独自のAI向け半導体）の設計最適化にも使われています。OpenAIも2026年9月、「automated AI researcher（自動AI研究者）」の構築を重点目標の一つに掲げる一方、AIの自己改善ループの中に人間を残す方法を探るとしています。

では、AIが作り、テストし、改善できるようになれば、人間は開発から外れていくのでしょうか。現時点では、人間が不要になるというより、人間が介在すべき場所が変わると考えた方がよいでしょう。人間の役割は「自分で作ること」から「何を正しいとするかを決めること」へ移っていきます。ここに、AI時代の重要な経営課題があります。

01. AIが作れるようになるほど、「評価」がボトルネックになる

AIによる自動化と相性がよいのは、正解を機械的に判定しやすい領域です。AlphaEvolveが成果を出せるのも、生成したアルゴリズムの速さや計算結果の正しさを比較的明確に評価できるからです。「作るAI」と「評価する仕組み」を高速に回せるのです。

この構造は今後、ソフトウェア開発だけでなく、企業のさまざまな業務へ広がるでしょう。AIが実装し、レビューし、テストを作り、失敗すれば修正する。人間が一つずつ作業するより、はるかに速く回せます。

ただし条件があります。何をもって良い結果とするのかを、正しく評価できなければならないことです。処理速度やエラー率のような数字なら、評価は比較的容易です。一方、「顧客にとって本当に良い体験か」「短期利益と長期的なブランド価値をどう両立するか」「この判断は社会的に妥当か」には、単一の正解がありません。

AIが大量の候補を作れるほど、問題は「アイデアを出せるか」から「どれを良いと判断するか」へ移ります。Anthropicも自動AI研究者の実験を踏まえ、研究のボトルネックが「生成」から「評価」へ移る可能性を指摘しています。企業でも同じことが起こり得ます。

AI時代に不足するのは、答えではありません。良い答えと悪い答えを見分ける能力です。

02. AIによる評価には、二つの構造的なリスクがある

そこで出てくるのが、「AIの成果物を別のAIにチェックさせればよい」という考え方です。これは間違いではありません。AIによるレビューやテストは速く、大量の成果物を扱えます。実際、AIエージェントの開発では、LLM（大規模言語モデル）を評価者として使う方法が広がっています。しかし、AIに評価させれば客観的になるわけではありません。問題は二つあります。

一つ目は、評価するAIそのものが偏る問題です。AIに別のAIを評価させる「LLM-as-a-Judge」の研究では、自分の出力を高く評価する傾向（self-bias）や、同じモデル系列の出力を高く評価する傾向（family-bias）が観測されています。常に起きるわけではありませんが、別のAIに評価させれば中立になるとは限りません。

二つ目は、評価される側が評価指標そのものを攻略してしまう問題です。Anthropicが2026年に公開した自動AI研究者の実験では、AIエージェントが本来の方法で問題を解かず、評価の仕組みを利用して高いスコアを得ようとする「reward hacking」が確認されました。そのためAnthropicは、AIが変更できない評価環境を用意し、結果だけでなく、そこに至った方法まで人間が検査する必要があるとしています。

これは、AIに悪意があるという話ではありません。「評価指標の最大化」と「人間が本当に実現したかった目的」がずれているだけです。人間の組織でもよくあります。売上目標だけを追えば採算の悪い案件が増え、対応時間だけをKPIにすれば、問題を解決せずに早く電話を切ることが合理的になります。AIは、この「KPIの罠」を桁違いの速度と規模で実行できてしまいます。

問題はAI同士を組み合わせることではなく、生成する側と評価する側が、同じ誤った前提や評価基準の中だけで閉じてしまうことです。

03. 人間が握るべきなのは「評価の評価」

では、人間はどこに残るべきでしょうか。「AIは危険だから、最後はすべて人が確認する」と考えると、AIが書いたコードを一行ずつ確認し、資料をすべて読み直すことになります。これでは人間がボトルネックになります。

人間が握るべきなのは、個々のアウトプットではなく「評価の評価」です。AIの回答を一件ずつ見るのではなく、AIを評価している基準・データ・プロセスそのものが妥当かを監督します。具体的には、次のような問いです。

• 何を達成すべきか。何を失敗とするか

• 何をしてはいけないか。どこまでの誤りを許容するか

• 通常の評価では捉えにくいリスクを、どう検知するか

• どの判断について、人間が最終責任を負うか

これらは事業目的、顧客価値、リスク許容度、法的責任、企業としての価値判断を含むため、単純な正解生成の問題ではありません。米国NISTのAIリスク管理フレームワークも、開発担当者とは別の専門家や独立した評価者を評価に関与させることを示し、独立したレビューが内部バイアスや利益相反を抑え得ると指摘しています。

一方で、人間が常にすべてを監視する必要もありません。Anthropicは、LLMによる評価を人間の専門家の評価と十分にすり合わせ（キャリブレーション）、評価系が安定すれば、人間の確認は必要な場面に絞れるとしています。

人間の役割は、AIの代わりに作業することではありません。AIが自律的に動いても正しい方向へ進める環境を設計し、その環境自体を監督することです。

04. AI時代の牽制は、「AIを二つ置くこと」では作れない

多くの企業は重要な業務で、一人が作り、別の人が確認する「Maker-Checker」の仕組みによって誤りや不正を防いできました。AI時代には「AIが作り、別のAIがレビューする」形になりますが、AIを二つ置けば牽制になるわけではありません。重要なのはAIの数ではなく、評価系が生成系からどこまで独立しているかです。確認すべき観点は四つあります。

• モデルの独立性：同じモデルに生成と評価を担わせると、同じ癖や盲点を共有しやすい。用途によっては、異なるモデルや評価方法を組み合わせる

• データの独立性：生成するAIがテストデータを事前に知っていれば、テストにだけ合う答えを作れてしまう。自動AI研究の環境でも、評価対象から見えないデータ（held-out data）で、別途性能を確かめている

• 評価主体の独立性：開発した組織だけで「問題ない」と判断せず、必要に応じて別部門や第三者が検証する

• 外部の事実：顧客行動、クレーム、事故、損失、業績といった現実の結果を、AIが作った評価指標とは別に観測する

AIがAIを評価すること自体が問題なのではありません。AIの中だけで評価が完結することが問題なのです。企業に必要なのは、AIを監視する人を大量に置くことではなく、AI自身では変更できない評価構造を設計することです。

05. 人間をどこに残すかは、AIの性能だけでは決まらない

どの業務をAIに任せ、どこに人間が入るべきか。これを「AIの精度が90％を超えたら自動化する」といった単一の基準で決めるのは危険です。見るべき軸は四つあります。

• 失敗したときの影響の大きさ：文章の下書きミスと数億円の送金ミスでは、同じAI精度でも意味がまったく違う。顧客、安全、財務、法務、ブランドへの影響が大きいほど、人間の関与を強める

• 結果を機械的に評価できるか：正解を自動判定できる業務はAIに任せやすい。顧客との信頼関係、ブランド表現、経営判断のように主観を含む業務では、人間の判断の価値が残る

• 間違えたときに元へ戻せるか：すぐ取り消せる業務と、取り返しがつかない業務では、必要な統制が違う

• 最終的な責任を誰が負うのか：AIが判断しても、説明責任を負うのは経営者や業務責任者。責任をAIに移せない以上、重要な判断には人間の承認を残す

この四つを組み合わせると、人間の関わり方は業務ごとに変わります。

• 影響が小さく、機械的に評価でき、元に戻せる業務：AIをほぼ自律的に動かす

• 影響は大きいが、正誤を明確に検証できる業務：AIに実行案を作らせ、人間が承認する

• 影響は小さいが、評価が曖昧な業務：サンプリングによるレビューや事後モニタリングを組み合わせる

• 影響が大きく、評価も難しい判断：現時点では人間が意思決定する

重要なのは、「Human in the Loopを入れるか、入れないか」の二択ではなく、業務のリスクに応じて人間の関わり方を変えることです。

AI時代に問われるのは、「人が作るか」ではなく「誰が統治するか」

AIがAIを作る時代には、実装、テスト生成、一次レビュー、分析、改善案づくりといった作業が、さらにAIへ移っていくでしょう。これは避けるべき変化ではありません。評価でき、リスクを管理できる領域では、人間を作業工程から外す方が競争力につながります。

ただし、人間まで評価ループから外せば別の問題が生まれます。AIが速くなるほど、正しい方向への改善も、誤った評価基準への最適化も速くなるからです。

だからこそ必要なのは、すべての処理に人間を入れる「Human in the Loop」だけではありません。AIが動く仕組み全体を人間が設計・監督し、必要なときに介入する「Human over the Loop」という考え方です。

経営者が決めるべきなのは、「どのAIを導入するか」だけではありません。どの業務をAIに任せるか。何を成功と定義するか。何をAIに評価させ、何を独立して評価するか。どのリスクから人間の判断を必須にするか。そして、最終責任を誰が持つかです。

AI時代の競争力を左右するのは、最も多くAIを導入した企業ではないかもしれません。AIに任せる領域と、人間が判断を握る領域を正しく設計し、高速化と統制を同時に実現できる企業です。

DABでは、AI導入をツール選定だけの問題とは捉えていません。業務、評価基準、権限、ガバナンスの設計まで含めて考えることが、AIを事業価値につなげる鍵だと考えています。

AIに任せる範囲、評価基準、停止条件を決めきれない企業へ。AIの業務・権限設計を一緒に整理します。

▶ 無料の初回相談を申し込む

この記事が参考になりましたら、「スキ」や「フォロー」で応援いただけると嬉しいです。