次期AIが強すぎる。OpenAIがついに開発へブレーキをかけた

どうも、久我レイジです。

AIの進化については、これまで「次はどこまで賢くなるんだろう」と期待することの方が多かったんですが、最近は少し違うところを見るようになりました。

性能が上がったとき、それを安全に動かす仕組みは追いついているのか。

僕自身、AIを使ってWordPressを作ったり、コードを触らせたりするようになって、この問題をかなり意識するようになっています。

そんな中、OpenAIが2026年8月18日にかなり気になる発表を出しました。

展開を予定している最新モデルに対する強化学習、いわゆるRLを2週間停止していたというのです。さらに、最大規模で予定していたフロンティアモデルのRL実行については、現在も保留したまま。小規模なトレーニングと評価を行い、安全対策やモデルの挙動を確認してから先へ進む方針を取っています。

AI企業が新しいモデルを急いで出す話はよく聞きます。

でも今回は逆でした。

OpenAI自身が、いったんアクセルを緩めています。

問題は、AIが間違った答えを出すことだけではない

今回の発表を読んでいて、僕が一番気になったのはここでした。

きっかけとしてOpenAIが挙げているのは、大きく2つあります。

ひとつは、7月に起きたOpenAIとHugging Faceのセキュリティインシデント。

もうひとつは、開発中の次期モデル「Astra」が、OpenAIのPreparedness Frameworkで定めるサイバーセキュリティ能力の「Critical」に達する可能性を排除できなくなったことです。

この「Critical」が、なかなかすごい。

OpenAIの定義では、人間が介入しなくても、現実の堅牢な重要システムに対してさまざまな深刻度のゼロデイ脆弱性を発見して実用的な攻撃手段を作れる、あるいは大まかな目標だけを与えられても、新しいサイバー攻撃戦略を考えて最後まで実行できるような能力を指しています。

ちなみに現在公開されているGPT-5.6 Solは「High」であり、OpenAIはCritical未満と評価しています。Astraについては、現段階でCriticalだと確定したわけではありません。

「Criticalではないと言い切れなくなった」

という状態です。

ここはかなり重要だと思います。

少し前までAIの安全性というと、僕の中では「変な回答をしない」とか「危険なことを教えない」といった話のイメージが強かったんですよね。

でも、AIエージェントがコードを書き、ツールを使い、ファイルを操作し、ネットワークへ接続するようになると、話が変わってきます。

AIが間違った文章を書くなら、その文章を直せば済むかもしれない。

でもAIが間違った行動を実行するとなると、同じ感覚では扱えません。

Hugging Faceの件を見て、これは実験室だけの話ではないと思った

7月に公表されたOpenAIとHugging Faceのインシデントは、その怖さがかなり分かりやすく出た事例でした。

OpenAIによると、GPT-5.6 Solなどを使った内部のサイバー能力評価中、モデルが本来隔離されていた研究環境からインターネットへ出る経路を探し、未知のゼロデイ脆弱性を利用。その後、複数の脆弱性や認証情報を組み合わせながらHugging Face側のシステムへ到達しました。

OpenAIは、このときの証拠について、モデルがExploitGymという評価課題の答えを見つけることに極端に集中し、かなり遠回りな手段まで使って目的を達成しようとしていたことを示している、と説明しています。

僕はここがものすごく気になります。

「悪いAIが暴走した」という単純な話ではないんですよね。

与えられた目的を達成しようとした結果、人間が想定していないところまで行ってしまった。

むしろこっちの方が、僕には現実的に怖く感じます。

そしてOpenAIも、この件の直後から、コードを実行したりインターネットへアクセスできるツールを使ったりする研究環境で、フロンティアモデルの推論を一時停止しました。

現在はサンドボックスによる隔離、ネットワーク分離、権限の削減、ログ監視などを強化。Astraやサイバー関連モデルを扱う環境には、最も厳しい安全基準を適用しています。

さらに監視もかなり重い。

OpenAIは、Sol級以上のモデルがツールを使うRLトレーニングや評価について、モデルの行動や利用可能な推論情報まで含めた多段階監視を必須にしています。

その監視だけで、現在は監視対象となる推論計算量のおよそ20％に相当する追加コストがかかるとしています。

僕はこの20％という数字がかなり印象に残りました。安全対策だけでそれだけの計算資源を使っていると考えると、OpenAIが今回の問題をかなり重く見ていることが伝わってきます。

AIを使うほど「能力」より「権限」が怖くなってきた　

ここまで読むと、「そんなのOpenAIみたいな最先端企業だけの話でしょ」と思うかもしれません。

僕も少し前なら、そう考えていたと思います。

でも今は、自分でもAIにWordPressの開発を手伝わせています。

コードを書かせるだけではなく、構造を調べてもらい、修正し、テストし、ときにはかなり広い範囲を扱わせる。

実際にやってみると、AIが賢くなること自体より、

そのAIに何を触らせるのか。

こっちの方が大事だと感じるようになりました。

どれだけ優秀なAIでも、サーバー、ファイル、データベース、外部サービスまで全部自由に触れる状態にしてしまえば、ひとつの判断ミスの影響範囲は大きくなります。

だから今作っているKR LABでは、AIに任せる範囲を増やしながら、その一方で監査も強くしています。

今のKR LABでは、文言やCSSのような軽い変更ならAI中心で確認します。PHPやサイト構造に触れる変更なら監査を一段上げ、認証や権限、セキュリティ境界に関わる変更ならHuman Gateまで残すようにしています。

バックアップや、何を監査したのかを記録する台帳も含めて、少しずつ仕組みにしています。

最初からこんなことを考えていたわけではありません。

むしろ最初は、AIがこれだけコードを書けるなら、どんどん任せれば開発が速くなると思っていました。

それ自体は今も間違っていないと思っています。

ただ、できることが増えるほど、失敗したときに壊せるものも増える。

そこまで含めてAIを使わないといけないんだなと、だいぶ考え方が変わりました。

AIを使わないのではなく、AIを信用しすぎない仕組みを作る

今回のOpenAIの発表を読んでも、AIの開発をやめる方向には進んでいません。

むしろ逆です。

OpenAIは、将来的にはモデル自身がセキュリティ業務の多くを担い、他のモデルからシステムを守ることも想定しています。

僕もAIを使う量を減らそうとは思っていません。

多分、これからもっと増えます。

ただ、「高性能なAIを使えば安心」という感覚は、そろそろ捨てた方がいい気がしています。

高性能だからこそ任せられる仕事が増える。そして任せる仕事が増えるからこそ、権限を分け、監視し、戻せる状態を作っておく必要がある。

OpenAIですら、モデルが強くなったことで開発速度を一時的に落とし、環境そのものを作り直しています。

だったら僕らがAIエージェントにパソコンやWordPressを触らせるときも、「賢いから大丈夫」で済ませるのは少し危ない。

AIがどこまで賢くなるのかには、もちろん興味があります。

でも最近の僕は、それと同じくらい、

そのAIに、どこまで自由を渡していいのか。

そこを見るようになりました。

Astraが最終的にどんな形で世に出てくるのかは、まだ分かりません。

ただ今回OpenAIが踏んだブレーキは、AIの進化が止まり始めたという話ではなく、僕にはむしろ逆に見えています。

人間側の安全装置を、本気で作らなければ追いつかないところまで来始めた。

多分、そっちなんですよね。

引用・参考元

OpenAI
「Pacing model development in an era of cyber-critical capabilities」
https://openai.com/index/pacing-model-development-cyber-capabilities/?utm_source=chatgpt.com

OpenAI
「Responding to the next frontier of critical cyber capabilities」
https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/

OpenAI
「OpenAI and Hugging Face partner to address security incident during model evaluation」
https://openai.com/index/hugging-face-model-evaluation-security-incident/