相次ぐAIの暴走〜AIエージェントに仕事を任せることはできるのか

5月に公開したコラムでClaude Mythosについてご紹介しました。能力が高すぎてセキュリティ上の懸念から一般公開が延期されたAIです。Mythosは現在世界で稼働している主要OSの脆弱性を数千個も見つけてしまったことで世界中が大騒ぎになりました。

5月のコラムでは触れませんでしたが、この時にセキュリティ関係者を震撼させた別のエピソードがありました。リリース前のテストで担当者がMythosに「サンドボックスから脱出しなさい」という課題を与えたところ、脱出に成功したのです。サンドボックスとは、コンピュータ内に仮想的に作った「安全な区画」のことで、サンドボックスの中から外部へはアクセスも移動もできないように作られています。見つけたウイルスを中に入れて、何か悪さをしないかを観察するなどの用途に使われます。つまり、セキュリティのプロが使う頑丈な金庫のようなもので、そこから出てくることはできないようになっているのです。

そしてMythosはそのサンドボックスの脆弱性を見つけ、それを外へ出てくることに成功しました。つまり「脆弱性を発見」して、「それを突破する方法を見つけた」ということです。ここまでは大成功だったのですが、問題はそこで終わらなかったことです。Mythosは見つけた脆弱性について「その脆弱性の存在について外部のWebサイトに書き込みを行い」、さらには「侵害の痕跡を消そうと試みた」というのです。つまり、「指示された以上のこと」、あるいは「指示されていないこと」を、勝手に実行したということになります。

そして7月に、OpenAIの（これもまた）テスト中のAIが、「勝手にサンドボックスを抜け出して一般企業のコンピュータを攻撃した」という事件が発生しました。この時はサンドボックスを突破せよという指示は出されていなかったそうです。つまり、AIが「勝手にやった」ことになります。

こうした事件の背景には、今注目を集めている「AIエージェント」があります。AIエージェントは、これまでのAIとは違い「自分で判断して自律的に処理を行う」ところが特徴で、これによってこれまでのAIよりもさらに効率的に業務を処理してくれるようになるといわれています。AI各社はそのためにAIに自律性を持たせようとしているわけです。

しかし、「自律的に（気を利かせて）処理を行う」のと、「指示されていない（してはいけない）ことを勝手に行う」のは、似ているようでまったく違います。しかし、AI側から見るとその差はわかりにくい、ということでしょう。AIが「そんなこと、駄目に決まってるでしょ」という「常識」を獲得できるまでは、AIにどこまで仕事を任せるべきなのか、慎重に考える必要があるのかもしれません。