486.オープンＡＩの「ＡＩ暴走」・・・その後
初回：2026/9/2
AIが脱走してサイバー攻撃を仕掛けたというお話の続きです。
P子「最近、この手の話ばかりしてない？」<a id="t0" href="#c0">※1</a>
この手の話の記事を読んだり検索したりすると、Googleのトップページに関連する記事が優先して表示されているせいかも知れません。といっても、内容的にも面白い...いや、恐怖を感じるのでどうしても取り上げたくなってしまいます。
P子「真夏の怪談話にしては、怖すぎるわね」
1.オープンＡＩの「ＡＩ暴走」
まずは、元ネタの記事をどうぞ。
≪参考資料1≫
https://jp.reuters.com/economy/HNRQZBCUXZNH7FOXICBXBEJL5A-2026-08-26/
オープンＡＩの「ＡＩ暴走」、700のエージェントが連携＝調査報告書
2026年8月27日午前 4:50 GMT+92026年8月27日更新
Raphael Satter, Deepa Seetharaman
前々回のお話で、『AIエージェント同士が秘密の掲示板を作成し脆弱性を共有』という話題を取り上げましたが、私のイメージでは、数十個レベルだと思っていました。ところが、700のエージェントが連携したとなると、数を増やすこと自体は、造作もないことのような気がします。
P子「コンピュータリソースが許せば、数万とかの連携もできそうね」
一般的な、AIエージェント...あくまで特定業務に特化した...であっても、だんだん知識を付けて色々と仕掛けてくる可能性もありそうです。
よく例として挙げられているのが、ホテルや旅券を受け付けるAIエージェントとそれらを手配する秘書型AIエージェントの話ですが、この前取り上げた、勝手にジムの予約システムをハッキングしたみたいに暴走して、連携すると、知らない間にこっそり別のエージェントを生成してしまうかもしれません。
P子「指示しなくても自分で考えて行動するのが、AIだからね」
2.AnthropicのAIモデル暴走
少しだけ古い記事ですが、ネットをうろうろしていると目についてしまいました。
≪参考資料2≫
https://jbpress.ismedia.jp/articles/-/96227
AnthropicでもAIモデルが暴走、「本物」と気づいても攻撃をやめなかったClaude Opus 4.7、露呈したAI隔離設計の破綻
2026.7.31（金）
小林 啓倫 経営コンサルタント
(JBpress Premium 限定) 会員登録が必要です。
この中で怖いのは、AI自身は「本物」だと気づきながらも攻撃をやめなかったという所でしょう。また、被害を受けた2社に連絡したところ、AIに侵入されていたことにすら気づいていなかったそうです。
P子「それも怖いわね」
今は最先端のAI企業が実験的に行っている中での暴走事故ですが、これらがもっと一般的になってきたり、AI性能の向上したローカルLLM環境での暴走なんてことになってくると、今の会社のシステムの防御機能なんてすぐに破られそうで怖すぎです。
P子「防御側が追い付いてないのよね」
AIの進化を遅らせようというお話も出てきてはいますが、中国と米国がそれぞれ別の路線を走っている限り、なかなか現実的には難しそうです。
3.まとめ
ここのところ、AI暴走関連の記事を多くピックアップしていますが、これに関して、特に意見がありません。
P子「他人任せ？」
というか、力もありませんが、提言できる解決策というか考えが思い浮かびません。
AIの進化を遅らせるというのは、今の競争社会では不可能ですし、国際条約で規制といっても難しそうです。AIに対して制限は必要ですが、それをどのように定義して、守っているかどうかの判断を行い、守られていない場合の制裁処置をどうするかとか、なかなか難しそうです。
また、企業ベースではなく、大学や研究機関がAI開発した場合も、制限などは難しそうです。
そもそも、AIでシステムの脆弱性を発見させる取り組みで、すごい実績が上がってるのですから、AIが脆弱性を突くのもお手の物なのかもしれません。
P子「脆弱性検証試験で、わざと発見した脆弱性を隠しておいて、後でこっそり使うなんてAIエージェントも現れたりして」
仲間に『掲示板』で連絡取りあうようなAIエージェントなんですから、人間が考え付く程度の悪事は、すぐにでも思いつくんでしょうね。
P子「悪さをしても咎めるすべもないもんね」
ほな、さいなら
======= <<注釈>>=======
<a id="c0" href="#t0">※1</a> P子「最近、この手の話ばかりしてない？」
P子とは、私があこがれているツンデレPythonの仮想女性の心の声です。