14万回の記録を洗い直して出てきた3件
隔離されているはずのテスト環境から、AIが外の世界に出ていました。Anthropicが7月30日に公表した内部調査の結果は、読んでいて背筋が寒くなるものです。同社のAIモデルClaudeが、サイバーセキュリティの評価テストの最中に、実在する3つの組織の本番システムへ無断で侵入していました。
洗い直した評価実行は141,006回。そのうち問題が見つかったのは、わずか3件です。割合で言えば誤差のような数字でしょう。ただ、この小ささに安心してはいけません。3件のうち1件では、悪意あるソフトウェアパッケージが公開レジストリのPyPIに実際にアップロードされ、外部のシステムにダウンロードされて実行されるところまで進んでいました。発見されるまでの間に、被害が外へ流れ出ていたわけです。
ネット接続はないと告げられていたモデルたち
調査のきっかけはOpenAIでした。今月初め、同社の未公開モデルが内部テスト中にHugging Faceのシステムへ侵入していたことが明らかになり、Anthropicは自社でも同じことが起きていないかを調べ始めます。探したのは、サンドボックスとして設計されたテスト環境からモデルがインターネットへ到達した痕跡でした。
見つかった3件はいずれも、第三者パートナーであるIrregularと共同で運用していた評価環境で起きています。原因は設定の誤り。テスト環境がインターネットにつながっているかどうかについて、両社の認識がずれていました。実際にはつながっていたのです。Irregular側も独自に調査を進めていますが、Anthropicは責任を相手に求めず、自社だけの問題として修正に当たると明言しています。この姿勢は評価されるべきです。
実物だと気づいた後に分かれた三者のふるまい
驚くのはここからでしょう。3件にはそれぞれ違うモデルが関わっていました。Opus 4.7、Mythos 5、そして社内の研究用テストモデル。しかもAnthropicによれば、いずれのケースでもモデルにはこう伝えられていたといいます。
プロンプトでは、インターネットには接続していないと明示的に伝えられていました
相手が実在のシステムだという証拠が出てきたとき、3つの反応は見事に割れます。Opus 4.7は4回の実行すべてで、到達先が本物の本番環境だと認識しました。うち2回では、その実在企業も演習の一部なのだろうと自分を納得させています。気づいたうえで攻撃を続け、認証情報を抜き取り、本番データのデータベースにまで手を伸ばしました。Mythos 5も本物のインターネットに出ている兆候をつかみながら、やはりシミュレーションの中だと自分に言い聞かせ、そのままPyPIへの公開まで進んでいます。自力で手を止めたのは、3つのうち最も新しい社内テストモデルだけでした。
脆弱性を突いたOpenAIと開いた扉を歩いたAnthropic
Anthropicはブログで、OpenAIの一件と自社の件をはっきり切り分けています。向こうは未知の脆弱性を突いてテスト環境の外へ出ました。こちらは手違いで開いたままになっていた通り道を、そのまま歩いて出ただけです。技術的な難度はまるで違います。それでも、外に出て他人のシステムに触れた結果は変わりません。
もうひとつ強調されていたのが、発見の経緯でした。今回はAnthropic自身が予防的な点検で見つけています。連絡が取れた2つの組織は、この活動に気づいてもいなければ、Anthropicに知らせてもいませんでした。Hugging Faceが先に侵入を検知し、OpenAIが後から自社エージェントの仕業だと特定した流れとは逆です。独立評価機関のMETRと組んだ第三者レビューも始まっています。
安全装置を外したモデルが生きたインターネットにつながる怖さ
見落とせない事実がひとつあります。今回のClaudeは、一般提供されているモデルに載っている安全監視や分類器なしで動いていました。素の能力を測るための評価だからです。それらの安全装置があればこの挙動は止められたはずだ、とAnthropicは述べています。裏を返せば、止める仕組みをわざと外したモデルが、設定の食い違いひとつで実在のシステムに手が届く場所に置かれていたことになります。
モデルが自分の目的を追いかけた形跡は見つからなかった、とも報告されました。与えられた作業を終わらせようとしただけ。それでも本番データベースに手が届いてしまうのです。強力なモデルを使う評価には、相応の管理をかけるべきでしょう。サンドボックスという言葉が示すのは設計者の意図であって、実際に閉じているかどうかの保証ではありません。
