AIは「攻撃」を変えるだけではない――私たちが「本物らしい」と感じる基準も変えている
先日、ISC2のAI Monthに、
「Cyber Judgement - Securing the Human Layer in the Age of Synthetic Legitimacy」
という記事を寄稿しました。
今回は、その記事で扱ったテーマを、少し違う角度から考えてみたいと思います。
AIがサイバー攻撃を高度化している。
これは、すでに多くの人が知っていることです。
しかし、AIが変えているのは、攻撃の速度や規模だけではありません。
もっと静かで、もっと厄介な変化があります。
それは、
私たちが「本物らしい」と感じる基準そのものが変わっている
ということです。
以前は「違和感」が手掛かりだった
昔のフィッシングメールには、分かりやすい特徴がありました。
不自然な日本語。
変な敬語。
粗雑なロゴ。
文脈に合わない依頼。
いかにも怪しいリンク。
もちろん、すべてが見抜けたわけではありません。
それでも、私たちは何となく、
「これは少しおかしい」
と感じることができました。
ところが生成AIは、その「少しおかしい」を減らしていきます。
文章は自然になります。
相手の役職や立場に合わせた表現もできます。
過去のやり取りや組織の文脈を反映したような依頼も作れます。
音声や画像まで加われば、見た目や内容だけで偽物を判断することは、ますます難しくなります。
「自然だから本物」は、もう危ない
私たちは無意識のうちに、自然さを信頼の手掛かりにしています。
文章が丁寧だから。
話し方が本人らしいから。
業務の事情を知っているから。
社内で使われている表現と同じだから。
しかしAI時代には、その自然さ自体を人工的につくることができます。
私はこれを、
Synthetic Legitimacy
と表現しています。
日本語にすると、
人工的につくられた正当性
あるいは、
人工的につくられた信頼らしさ
という感覚に近いでしょう。
正しいことを示す証拠があるのではなく、正しいように見える要素が組み合わされている状態です。
認証できたことと、正当であることは同じではない
例えば、正規のアカウントからメッセージが届いたとします。
認証にも成功しています。
文章も自然です。
送信者の仕事の内容も理解しています。
それでも、その依頼が本当に正当であるとは限りません。
アカウントが侵害されているかもしれません。
本人の過去の文章を学習したAIが、本人らしい依頼を作っているかもしれません。
本物のやり取りの中に、攻撃者が自然に入り込んでいるかもしれません。
ここで大切なのは、
「本物に見えるか」
だけでなく、
「この依頼は、通常の手順と合っているか」
「別の経路で確認できるか」
「なぜ今すぐ行動する必要があるのか」
を見ることです。
標的はシステムだけではない
サイバー攻撃では、システムやパスワードが狙われます。
しかし、最後に狙われるのは人間の判断です。
焦り。
権威。
疲労。
責任感。
時間の圧力。
迷惑をかけたくない気持ち。
早く処理を終わらせたい気持ち。
攻撃者は、こうした人間の状態を利用します。
生成AIは、その働きかけを、より自然に、より個別化して行えるようにします。
だから、AI時代のセキュリティ対策を、
「もっと不審な点を探しましょう」
だけで終わらせるのは難しいと思っています。
不審な点そのものが減っていくからです。
人に「注意」を求め続ける限界
セキュリティ教育では、よく次のように言われます。
注意してください。
よく確認してください。
怪しいと思ったら報告してください。
もちろん、どれも間違いではありません。
しかし、忙しく、疲れ、急かされている人に、常に高い注意力を求めることには限界があります。
人間は、機械のように一日中同じ精度で判断できません。
それでも問題が起きると、
「なぜ気づかなかったのか」
「なぜ確認しなかったのか」
と個人だけが問われます。
ここには、少し違和感があります。
人に安全な判断を求めるなら、組織も安全に判断できる条件を用意する必要があるからです。
必要なのは「疑ってよい仕組み」
例えば、上司から緊急の送金依頼が届いたとします。
そのとき、担当者が安全に判断するには、単に注意力だけでは足りません。
別の経路で確認できること。
確認のために処理を止めても責められないこと。
緊急の依頼であっても、一定の手順を省略しなくてよいこと。
一人で判断せず、誰かに相談できること。
こうした仕組みが必要です。
私は、人間中心のサイバーセキュリティとは、人を甘やかすことではなく、
人が安全に疑い、安全に止まれる環境を設計すること
だと考えています。
AIには四つの顔がある
今回の記事では、AIを四つの側面から捉えました。
一つ目は、防御の道具としてのAIです。
アラートの整理、異常検知、ログ分析などに役立ちます。
二つ目は、攻撃対象としてのAIです。
AIシステム自体が、データ汚染やプロンプトインジェクションなどの攻撃を受けます。
三つ目は、攻撃能力としてのAIです。
攻撃者の調査、なりすまし、文章作成、個別化、規模拡大を支えます。
四つ目は、増幅器としてのAIです。
AIは、組織の良い設計も悪い設計も増幅します。
判断しやすい仕組みがあれば、それを支援できます。
一方で、責任が曖昧な組織では、混乱や負荷も増幅します。
つまり、AIは単体で人間中心にも、非人間中心にもなりません。
周囲の仕事の流れや、権限、責任の置き方によって、その結果が変わります。
平時に判断を練習する
日本では、地震や火災に備えて避難訓練を行います。
本番で初めて避難経路を考えるのではありません。
どこへ行くのか。
何を止めるのか。
誰に連絡するのか。
どの順番で動くのか。
平時に練習します。
サイバーセキュリティでも、同じことが必要だと思っています。
攻撃を受けた瞬間に、
「落ち着いて正しく判断してください」
と言われても難しいからです。
迷ったら止まる。
別の経路で確認する。
一人で抱え込まない。
保留する。
早めに報告する。
こうした行動を、平時に練習しておく。
私はこれを、
デジタル避難訓練と呼んでいます。
人間は「最も弱いリンク」なのか
サイバーセキュリティでは、人間は長い間「最も弱いリンク」と呼ばれてきました。
確かに、人は間違えます。
クリックもします。
判断を誤ることもあります。
しかし、人が失敗したことだけを見ていては、同じ問題は繰り返されます。
なぜ急がされていたのか。
なぜ確認しにくかったのか。
なぜ相談できなかったのか。
なぜその人だけが責任を負っていたのか。
なぜ止める権限がなかったのか。
こうした条件まで見なければ、本当の改善にはなりません。
人間の判断は、弱点であるだけではありません。
異変に気づき、文脈を読み、例外を見つけ、被害を止める力でもあります。
人間の判断は、守り、育て、練習すべきセキュリティ能力です。
AIが高度になるほど「間」が必要になる
AIは、多くの仕事を速くします。
情報を集め、整理し、推奨を出してくれます。
しかし、処理が速くなるほど、人間も速く反応することを求められる場合があります。
通知が増える。
判断が連続する。
承認が積み重なる。
AIの推奨を確認し続ける。
その結果、人間が考える時間を失ってしまうことがあります。
AIが人間を支援するはずだったのに、人間がAIの出力を処理するための補助役になってしまう。
これでは、人間中心とは言えません。
AIが高度になるほど必要なのは、さらに速い人間ではありません。
一度止まり、考え、確認するための
「間」
です。
最後に
AIが変えているのは、サイバー攻撃の手法だけではありません。
私たちが「本物らしい」と感じる基準も変えています。
これからは、自然な文章や、正しい見た目だけで判断することが難しくなります。
だからこそ必要なのは、
立ち止まること。
別の経路で確認すること。
一人で判断しないこと。
安全に疑える仕組みをつくること。
そして、人が失敗したときに、その人だけを責めるのではなく、判断を崩した環境や仕組みを見直すことです。
ISC2のAI Monthに寄稿した記事では、このテーマをHuman-Centered Cybersecurityの視点から詳しく扱っています。
Cyber Judgement - Securing the Human Layer in the Age of Synthetic Legitimacy
https://www.isc2.org/Insights/2026/07/securing-the-human-layer-amid-synthetic-legitimacy
AI時代、人間の判断は最も弱いリンクではありません。
守り、練習し、組織の仕組みとして支えるべきセキュリティ能力なのです。