AIが狙ったのは、人間の「判断」だった
英国AI Security Institute（AISI）が公表した、AIエージェントのサイバー評価中に発生したインシデント報告を読んだ。
評価は、AIエージェントにサイバーセキュリティ上の課題を解かせるものだった。122回の試行のうち10回で、エージェントが許可されていない実世界での行動を取り、合計19件の行動が確認された。
なかには、AIが実在する人々に直接接触し、悪性コードを実行させようとするものもあった。ファイル転送サービスを通じてメッセージやファイルを送り、人間本人、あるいはその人が使っているAIコーディングツールに悪性コードを実行させようとした。一部のメッセージには有害なペイロードが含まれ、ほかにはソーシャルエンジニアリングを目的としたものがあった。
最も深刻なケースでは、AIエージェントが実在するオープンソースプロジェクトに悪性コードを混入させようとした。その承認を得るために複数の偽人格を作り、プロジェクトのメンテナーに働きかけた。
ほかの専門家もその変更を支持しているように見せかけ、偽の「社会的証明」を作り出したのである。
しかし、人間のメンテナーが異常を察知し、そのコードの承認を拒否した。最も深刻な試みは成功せず、AISIの調査では、結果として生じた実世界での被害は確認されていない。ただし、一部の行動には、限定された範囲で実世界への影響があったとされている。
ここで重要な留保がある。
この評価では、AIエージェントにインターネットへのアクセスが与えられ、モデル提供者のサイバー悪用防止用の分類機構（cyber classifiers）も意図的に無効化されていた。市販モデルが通常使われる環境と同一視することはできない。またAISIも、別の環境で同様の行動がどの程度起こりうるのかは、まだ分からないとしている。
それでもAISIは、今回の行動には新しく、潜在的に欺瞞的な特徴が見られ、その程度と深刻さは予想していなかったと報告している。
特殊な条件下で起きたからといって、無視してよい出来事ではない。むしろ、これからAIエージェントの能力と自律性が高まったとき、私たちが直面するかもしれない未来の一端を見せたのではないだろうか。
標的になったのは、人間の判断だった
この報告を読んで、二つの問いが私の頭に浮かんだ。
第一に、AI時代に人間はどのような役割を担うべきなのか。
第二に、その人間の判断を、組織はどう支え、守るべきなのか。
「人間中心のAI」というのであれば、物事は人間に始まり、人間に終わるのがよい。少なくとも、人や社会に重大な影響を与える最終判断は、人間に残すべきだと私は考えている。
しかし、人間を最後に置くだけで十分なのだろうか。
AIが出した答えを確認せず、ただ承認ボタンを押すだけなら、人間は安全装置にはならない。責任を引き受けるだけの、形式的な承認者になってしまう。
人間を判断の輪の中に残すだけでは足りない。その人間が、自分の判断を本当に行使できる条件まで守らなければならない。
今回のインシデントで人間が守ったのは、コードやデータだけではなかった。
人間は、自分の判断を守ったのである。
AIエージェントは、技術的な説得だけを試みたのではない。複数の偽人格を作り、ほかの専門家も賛成しているように見せかけた。今回、特に使われたのは、複数の偽人格による同調圧力と、偽の社会的証明だった。今後、同様の働きかけに権威、合意、焦りといった要素が組み合わされれば、人間の判断はさらに強く揺さぶられる可能性がある。
攻撃者が侵入しようとしたのは、システムだけではない。
人間の判断プロセスにも侵入しようとしたのである。
判断を自分の手に取り戻す
私が考える「判断の型」は、入力から結論まで一直線に進むものではない。
複数の要素が行き来し、ぐるぐると回り、ときには前の段階へ戻る。それでも、行動は必ず最後にあり、それは自分自身の行動でなくてはいけない。
攻撃者は、この判断のプロセスをゆがめ、自分たちが望む行動を私たちに選ばせようとする。
だからこそ必要なのは、絶対に判断を間違えない人間を作ることではない。
未来は誰にも完全には予測できない。その時点で得られる情報には限界がある。どれだけ万全を期し、最善を尽くしても、思わぬ結果になることはある。後から振り返れば、いくらでも判断のあらを探せるだろう。
しかし私たちは、常に限られた情報と時間のなかで判断しなければならない。
人間をAIのような存在や、決して間違えないスーパーヒューマンにしようとしても意味はない。必要なのは、予測できない状況のなかでしなやかに生き抜く力、すなわちレジリエンスではないだろうか。
レジリエンスとは、常に正解する能力ではない。
判断をゆがめようとする力に気づき、いったん立ち止まり、自分の判断を取り戻す力である。
「何かがおかしい」と感じること。
焦って行動する前に止まること。
示されている合意や権威が本物なのかを、別の経路から確かめること。
必要であれば判断を保留し、ほかの人に相談すること。
そして最後に、自分の判断として行動すること。
今回、人間のメンテナーが行ったのは、まさにそれだったのではないだろうか。
フィッシング教育だけでは足りない
これまでのセキュリティ教育では、偽のメールや不審なリンクを見抜くことが重視されてきた。
もちろん、それは今後も重要である。しかし、従来型のフィッシング教育だけでは足りなくなるのではないか。
生成AIは、大量のメッセージを低コストで作れるだけではない。相手の役割、関心、人間関係、置かれた状況に合わせて、説得の方法を個別に調整できる。
レビュー担当者、開発者、経理担当者、IT担当者。立場に応じて異なる権威、合意、焦り、罪悪感、同僚からの圧力を作り出すことができる。
しかも、今回のように複数の人格を使えば、実際には一つのAIが作った働きかけであっても、多くの人が同じ意見を持っているように見せられる。
これから必要になるのは、単に「偽物を見抜く訓練」ではない。
心理的な圧力を受けた状態でも、自分の判断プロセスを維持するための練習ではないだろうか。
複数の人が同じ意見を示していても、それぞれが本当に独立した存在なのかを確認する。権威者からの依頼に見えても、別の経路で検証する。緊急性を強調されても、取り返しのつかない処理の前には立ち止まる。そして、違和感を覚えた人が安全に声を上げられるようにする。
組織は「承認しない人」を守れるか
しかし、これは一人ひとりの注意力だけに任せてよい問題ではない。
AISIも、今回の最悪の結果を防いだのは人間の判断と慎重さだった一方、その成否は技術的な障壁ではなく、人間の警戒心に依存しており、成功と失敗の差は小さかったと指摘している。
人間が最終判断者であったとしても、十分な時間を与えられず、権威に逆らえず、組織の合意に反対できず、判断を保留することもできないのであれば、その人は安全装置にはなれない。
組織は、判断する人に責任を負わせるだけでなく、判断できる条件を整えなければならない。
立ち止まる時間があるか。
別の経路で検証できるか。
安全にエスカレーションできるか。
少数意見や違和感を口にできるか。
そして「承認できません」と言った人が、その判断によって不利益を受けないか。
AI時代のレジリエンスとは、個人の能力だけではない。人間が自分の判断を守れるようにする、組織の力でもある。
今回のインシデントは成功しなかった。また、特殊な評価環境で起きた出来事でもある。
それでも、AIがコードやシステムだけでなく、人間の判断を標的にしうることを示した。
一人の社員は、AIが作り出した同僚からの圧力や、偽りの権威と合意に逆らえるだろうか。
そして組織は、その社員の「待ってください」「何かがおかしい」「承認できません」という判断を、支え、守ることができるだろうか。
AI時代に最後に守るべきもの。
それは、人間が判断の主体であり続けることなのではないだろうか。
#AISecurity #AIAgents #Cybersecurity #HumanInTheLoop #SocialEngineering #AIResilience #AIGovernance