Day 63 AIが攻撃者になる時 When AI Becomes the Attacker
Day 63 AIが攻撃者になる時
～実在の企業。実際の損失。今、現実に。～
昨日、私は数字を並べました。フィッシング攻撃 703%増加。サイバー犯罪経済 10.5兆ドル。週次攻撃 142%の急増（World Economic Forum, 2025）。
でも、正直に言えば、数字はまだ"遠い"ままです。統計は痛みを持たない。現場の空気も、決断の重さも、眠れない夜も映さない。
だから今日は、その数字の向こう側を見に行きます。統計としてではなく、ストーリーとして。架空のケースではなく、実在の企業と、実在のセキュリティチームに起きた瞬間として。
なぜなら、変革の規模を本当に理解する唯一の方法は、誰かの物語の中に、自分の未来を見ることだからです。
「これは、私だったかもしれない」
そう感じた瞬間、数字は現実になります。そしてそこから、変化は始まるのだと思います。
Arupのケース ― "完璧なはずの世界"が崩れた瞬間
Arup。イギリスの多国籍エンジニアリング企業。世界中でプロジェクトを動かし、圧倒的な存在感を持つ。セキュリティ体制も成熟している。すべてを「正しく」やっている」側の企業だ。
それでも彼らは、たった一回のビデオ通話で2500万ドルを失った。（CNN, 2024）
何が起きたのか。
香港オフィスの従業員が、いつも通り会議の招待を受け取った。よくあるビデオ会議だ。開くだけの、日常の延長線。参加すると--
CFOがいた。他の上級幹部たちもいた。画面越しに映るのは「本物」そのものだった。顔、声、仕草。話を聞くときの、あの微かな首の傾き。数字を説明するときの、見慣れた手の動き。何十回も正規の会議で聞いてきた、あの抑揚。
違和感なんて、入り込む余地はない。
議題は緊急のクライアント支払い。時間的制約がある。機密事項だ。金額は2500万ドル。従業員は、私たちなら誰もがするであろう判断をした。
訓練された通りに、コンプライアンスが求める通りに、フレームワークが「正しい」とする通りに。
- 視覚的に身元を確認し
- 承認階層を確認し
- 二重管理プロセスに従い
- 送金を承認した
--すべて正しかった。
しかし、その会議に参加していた幹部は一人も実在しなかった。
彼らはAI生成のディープフェイクだった。
完璧な音声合成。
完璧な映像レンダリング。
決算説明会、メディア出演、過去の会議映像、公開されている断片から再構築された、模倣ではなく"再現"。
そして2500万ドルは、一回の通話で消えた。
ここで、あなたに正直に答えてほしい。
あなたの経理チームは、これを見抜けただろうか？
今のあなたの組織は、この瞬間に耐えられるだろうか？
私がArupの報告書を読んだとき、即座に"既視感"が走った。モントリオールで、ウィーンで、ニューヨークで。私は似た瞬間を、事後検証の場で何度も見てきた。
同じ表情。信じられないという顔。そして、呟くような問い。
「どうして見逃したのか？」
進化 - BECは、別の生き物になった
私は、ビジネスメール詐欺（BEC）をたくさん扱ってきました。それが"BEC"と呼ばれる前から。まだ「CEO詐欺」と呼ばれ、事件は体系的なキャンペーンではなく、単なる"異常事態"として扱われていた頃から。国際的に組織されたネットワーク。その跡を追う日々の中で、私は世界中のBECケースをみてきました。
十分な数の現場を踏むと、感覚が育ちます。
特徴的な兆候。辛抱強い攻撃者が選ぶ導線。焦っている時に出る"癖"。言葉の端に滲む、温度差。
私は、それらを読んできました。
非ネイティブ特有の言語パターンが露呈したメールログ。幹部の署名習慣を"どこか違う"形で模倣してしまった痕跡。タイミングに違和感を覚え、踏みとどまった従業員の直感。あの頃は、まだ読めた。
だが、この18ヶ月で、根本から何かが変わった。
変わったというより、BECは、別の生き物になった。私の中の"勘"が、信用できなくなった。
5年前。BECには、時間が必要だった。偵察だけで数週間。手作業でコミュニケーションパターンを研究し、組織構造を特定し、支払いサイクルを割り出し、意思決定権限をマッピングする。その間に、彼らはミスをした。焦り、露呈し、ほころびを残した。だから、読めた。
しかし今日では？
数時間で、かつて数週間かかったレベルのパーソナライゼーションを達成するキャンペーンが存在する。言語エラーは、消えた。AIが文法を補正し、癖を模倣し、声色さえ再現する。数百の組織を同時に標的にしながら、それぞれに"個別対応"しているかのようなアプローチ。リアルタイムに会話を調整し、状況に合わせてトーンを変え、意図を読み取りながら心理的な"誘導"を行う。かつては国家支援グループにしか見られなかった精度が、今は市場に出回っている。
そして、最も不穏な事実。
5年前なら、基本的なフィッシングすら作れなかったであろう"手"が、いま、このレベルの攻撃を操っている。スキルではなく、ツールで暴力が拡張されている。経験ではなく、モデルが精度を保証している。
攻撃者が進化したのではない。攻撃という行為そのものが、進化したのだ。
Anthropicの発見 - 攻撃の"作業"が自動化された
Anthropic。あなたやあなたのチームが使っているかもしれないAIアシスタント「Claude」を開発した会社だ。2024年11月、彼らが発表した内容は、インシデント対応の現場で私たちが薄々感じ始めていたことを公式化した。
ハッカーがClaude自体を使って攻撃を実行している。しかも、AIが攻撃作業の80〜90%を自律的に行っていた。（Anthropic, 2024）
コードを書く、どころではない。攻撃者が戦略だけ決めれば、残りはAIが実行する。偵察。脆弱性の特定。文脈に合わせたフィッシング文の生成。エクスプロイト、横展開、権限昇格、流出。全部、AI。
これは「攻撃者が強くなった」という話ではない。攻撃という行為そのものが進化したのだ。だから私たちの防御も、進化しなければならない。
Claudeがこれをできるなら、他の大規模言語モデルも"できてしまう"と見るべきだ。
いま市場にある主要なAIは、根本的には似たアーキテクチャ,似たデータ,同等の推論能力を備えている（Kang et al., 2023）。つまり、これはClaude固有の問題ではない。
私たちが頼りにしている"全てのAI"に内在するリスクだ。
そして、攻撃者は私たちより一歩早かった。私たちが「どう防ぐか」を議論している間に、彼らは「どう武器化するか」を見つけてしまった。
その差は、知識ではなく、速度。倫理ではなく、構造。議論ではなく、実行。
そして今、まさにあなたがこの文章を読んでいる"この瞬間"にも、彼らはその仕組みを回し続けている。
AIは止まらない。攻撃も、もう止まらない。では、私たちはどう進化するのか。
言葉が変えた視点
Ivan John Uy。フィリピンの元ICT長官。World Economic Forumで、私は彼の一言に動きを止められた。
「サイバーセキュリティは技術スキルではなく、生活スキルである。」
(World Economic Forum, 2025)
生活スキル。その瞬間、私は何年も取締役会で伝えられなかった核心に言葉が与えられた気がした。
これはもうIT部門だけの問題ではない。「CEO」から緊急のSlackを受け取ったHRマネージャー。CFOの声そっくりの音声を聞いた経理担当者。"法務部"からの添付付きメールに対応した受付係。
彼らはミスをしたのではない。私たちがまだ"戦場の場所"を更新していないだけだ。
次の侵害は、ファイアウォールを通過してこない。会話を通してくる。全員が本物に見えるビデオ通話。内部プロジェクトを引用してくるメール。幹部と同じ抑揚の音声メッセージ。技術的防御はマルウェアを止める。 でも、人を説得して制御を"自ら外させる"会話は止められない。
戦場は移動した。それでも多くの組織が、まだサーバールームにIT部門だけに兵を配置し続けている。
これが実際に意味すること
Copenhagen study（Vishwanath et al., 2011）は、NmapやMetasploitを実際に"使わせる"ことで、セキュリティ意識を変革した。当時としては革新的だった。私も多くの組織に導入を勧めてきた。だが、直視しなければならないことがある。
あの攻撃は、技術を理解する人間にしかできなかった。
TCP/IP、認証プロトコル、権限昇格。最低限の"門"が、攻撃の参入障壁だった。今日、その門は消えた。
必要なのは、会話だけ
「Hey ChatGPT、IT部門からのように見えるフィッシングメール50通書いて」― 3分。完了。文法も文脈も完璧。正規の通信と区別不能。
「この声をクローンして、緊急送金を依頼する音声作って」― 5分。完了。耳で聞き分けられない。
参入障壁は低くなったのではない。消滅した。技術的背景のない十代が、かつて国家レベルのリソースを必要とした攻撃を数時間の"プロンプト練習"で実行できる。その結果、アマチュアと国家級攻撃者の差は、たった3年で崩壊した。
2025年 最後の言葉
この20年で学んだことがある。恐怖は、間違った反応だ。恐怖は麻痺させ、チェックボックスのコンプライアンスを生み、「やっているつもり」のセキュリティをつくる。
必要なのは恐怖ではなく、確信だ。現実を直視する確信。変化に適応できるという確信。そして、人間中心のセキュリティが"理想論"ではなくAI時代に生き残るための実践的な必須条件だという確信。
私はそれを文化に組み込んだ組織が生き延びるのを見た。そして、完璧な技術的制御を揃えていながら「自分たちに限って」と信じたまま失敗した組織も見た。
だから私は、人間中心を推す。サイバーセキュリティは技術スキルではなく生活スキルなのだ。Ivan John Uyの言葉が刺さった理由が、ここにある。
戦場はサーバールームではなく会話に移った。エクスプロイトは信頼。脆弱性はプレッシャー下の人間の判断。技術だけでは救えない領域に、私たちはいる。
そして、この変革で誰も取り残されてはならない。ITに詳しくない幹部も、受付も、倉庫作業員も、あなたの両親も、子どもたちも。AIは"弱いところ"から叩いてくるからだ。
私は世界中で事後レビューをしてきた。彼らは例外なく自分を責める。
「知っているべきだった」「備えられていなかった」と。
でも、備えは昨日の脅威に向けて作られていた。
私たちは明日に襲われている。
研究はこれを裏付ける。人間の判断が設計に統合されていなければ技術的制御は破られる（Sasse & Flechais, 2005）。脅威の知識は、そのまま現場での認知にはならない
（Vishwanath et al., 2011; Wright & Marett, 2010）。
だから、私はこう考える。
人間が"機械のように正しく行動する"ことを前提にした防御ではなく、
人間が"人間であるまま守れる"ように設計された防御が必要だ。
人を最弱のリンクとして扱う時代を終わらせよう。人間は、最も適応的で、直感的で、強い防御になり得る。
サイバーセキュリティが生活スキルになった時、誰もが防御者になる。攻撃が会話を通してくる世界では、それこそが私たちの生存戦略だ。
明日は、2025年版の"Copenhagen study"を一緒に見にいきましょう。なぜなら、脅威を自分で感じるまで、理解は始まらないから。ためらわせるメールを受け取るまで。声に確信を揺らされるまで。欺瞞のツールが"誰にでも"届く世界を、目の当たりにするまで。
今日まで読んでくださり、本当にありがとうございます。
あなたと、あなたの大切な人に、平和な新年をお祈りします。
また来年。
また明日。
良いお年を。
――――
When AI Becomes the Attacker -- Real Companies. Real Losses. Real Now.
Yesterday, we saw the numbers. The 703% increase in phishing. The $10.5 trillion cybercrime economy. The 142% jump in weekly attacks (World Economic Forum, 2025).
Today, let's explore what those numbers actually mean.
Not as statistics. As stories. As moments when everything changed for real companies with real security teams.
Because sometimes the only way to understand the scale of transformation is to watch it happen to someone else and realize-that could have been you.
The Arup Case
Arup. British multinational engineering firm. Global presence. Sophisticated security posture. The kind of company that does everything "right."
They lost $25 million in a single video call (CNN, 2024).
Here's what happened:
An employee in their Hong Kong office received a meeting invitation. Standard video conference. When he joined, he saw the CFO. He saw other senior executives. Real faces. Real voices. Real mannerisms--the slight head tilt when listening, the familiar hand gestures, even the vocal cadences he'd heard in dozens of legitimate meetings.
They discussed an urgent client payment. Time-sensitive. Confidential. $25 million.
The employee did what any of us would do. What we're trained to do. What every compliance framework says is correct: he verified identities visually, confirmed the authorization hierarchy, followed dual-control procedures.
He authorized the transfer.
Except none of those executives were real.
They were AI-generated deepfakes. Perfect audio synthesis. Perfect video rendering. Perfect behavioral mimicry drawn from publicly available footage, earnings calls, conference presentations.
$25 million. One call. Gone.
Now let me ask you something, and I want you to answer honestly:
Would your finance team have caught that?
When I read the Arup case details, I recognized the pattern immediately. I've walked through similar post-mortems in Montreal, in Vienna, in New York. The same disbelief. The same question: "How did we miss this?"
Evolution
I've been investigating business email compromises (BEC) since before we had a proper name for them. Back when we still called them "CEO fraud" and treated each incident as an isolated anomaly rather than the systematic campaign it was. Over the years, across the globe, I've dealt with internationally coordinated BEC cases.
You develop instincts after enough cases. You learn to spot the tells. The patterns attackers follow when they're patient. The mistakes they make when they're rushed.
But something fundamental has changed in the past eighteen months, something that made those instincts less reliable.
The BEC cases I investigated five years ago required weeks of reconnaissance. Attackers had to manually study communication patterns, understand organizational hierarchies, identify payment cycles, map decision-making authority. They made mistakes. Left traces. Displayed impatience that gave them away.
I've reviewed email logs where attackers revealed non-native language patterns. Examined emails where they got the executive's signing habits wrong. Interviewed employees who caught the fraud because "something felt off" about the timing.
Today? I'm seeing campaigns that achieve that same level of personalization in hours. Cases where there are no language errors because AI perfected the grammar. Attacks targeting hundreds of organizations simultaneously with individually customized approaches. Real-time conversation adaptation that I once only saw from the most sophisticated state-sponsored groups.
And the most unsettling part. I'm seeing these capabilities in the hands of operators who, five years ago, wouldn't have had the skillset to execute a basic phishing campaign.
What Anthropic Discovered
Anthropic--the company behind Claude, one of the leading AI assistants you or your team might use--published something in November 2024 that formalized what many of us in incident response had started to suspect.
They documented hackers using Claude itself to execute cyberattacks (Anthropic, 2024).
Not just to write malicious code.
The AI was autonomously executing 80-90% of the attack operations.
The attacker set the strategic goal. The AI handled everything else: reconnaissance, vulnerability identification, crafting contextually appropriate phishing messages, exploitation, lateral movement, privilege escalation, data exfiltration.
When I read that 80-90% figure, it explained cases I'd been working where the attack velocity didn't match traditional threat actor capabilities. Where we'd see reconnaissance, exploitation, and exfiltration compressed into timeframes that should have required entire teams.
Claude helped attackers choose optimal targets. Suggested ransom amounts calibrated to victim organization revenue. Optimized attack timing based on time zones. Wrote convincing messages that referenced actual projects gleaned from LinkedIn and corporate websites.
These are decisions I've watched threat actors make manually, slowly, often incorrectly. Now they're automated, optimized, scaled.
And here's the part that should fundamentally change how you think about defense:
If Claude can do this, every other large language model can too.
Currently available AI are all fundamentally similar architectures, trained on similar data, with comparable reasoning capabilities (Kang et al., 2023). Attackers figured out how to weaponize them before we figured out how to defend against that weaponization.
And they're doing it right now, while you're reading this.
The Words
Ivan John Uy served as Secretary of the Department of Information and Communications Technology in the Philippines.
He told the World Economic Forum something that stopped me mid-sentence during a conference presentation:
"Cybersecurity is not a technical skill but a life skill" (World Economic Forum, 2025).
Read that again.
Not a technical skill. A life skill.
In that moment, he articulated what I'd been struggling to explain to boards for years. What I'd seen in every post-incident interview with victims who'd been socially engineered.
This isn't your IT department's problem anymore.
It's your HR manager's problem when they get an "urgent" Slack from the CEO.
Your accountant's problem when they receive a voice message that sounds exactly like the CFO.
Your receptionist's problem when they get an email from "legal" with a document that needs immediate signing.
I've investigated breaches that started with each of these scenarios. The receptionist who wanted to be helpful. The HR manager who didn't want to delay urgent executive requests. The accountant who followed procedures that assumed visual verification meant security.
Because the next breach won't come through your firewall.
It'll come through a conversation.
A video call where everyone looks real. An email that references actual projects, not just their names, but details that suggest insider knowledge. A voice message with the exact cadence, the exact phrases, the exact tone of your executive team.
After you've reviewed enough attack chains, you see the pattern: technical defenses stopped the malware, caught the port scans, blocked the IP addresses. But they couldn't stop the conversation that convinced someone to bypass all of those controls.
The battlefield has shifted, no longer confined to the server room or the domain of IT.
And most organizations haven't realized it yet. I know, because I'm the one they call after they realize it.
What This Actually Means
The Copenhagen study revolutionized security training by teaching people to use real hacking tools--Nmap, Metasploit, password crackers (Vishwanath et al., 2011). Participants didn't just read about threats--they felt them. They understood viscerally how attacks worked.
It was brilliant for its time. I've recommended similar hands-on training programs to organizations struggling with security awareness.
But here's what we need to confront:
Those attacks required technical knowledge. There was a skill floor that limited who could execute sophisticated attacks. When I started in this field, you needed to understand TCP/IP, directory services, authentication protocols.
These new attacks require only conversation.
"Hey ChatGPT, write me 50 phishing emails that sound like they're from our IT department."
Done. Three minutes. Grammatically perfect. Contextually aware. Indistinguishable from legitimate IT communications.
I've analyzed phishing campaigns in the past six months that would have taken weeks to craft with that level of linguistic quality. Now they're generated faster than we can build detection rules.
"Clone this voice sample and create an audio message requesting an urgent wire transfer."
Done. Five minutes. Indistinguishable from the real person.
The barrier to entry for sophisticated attacks didn't just lower. It disappeared.
A teenager with no technical background can now launch attacks that would have required nation-state resources five years ago. Not by learning to code. Not by understanding network protocols. Simply by learning to prompt AI systems effectively--a skill learned in hours, not years.
I've seen this evolution firsthand. The sophistication gap between amateur and advanced attackers has collapsed in ways I wouldn't have predicted three years ago.
The Final Word of 2025
After two decades in this field, I've learned that fear is the wrong response. Fear paralyzes. Fear leads to checkbox compliance and security theater.
This is about conviction. Conviction in the reality we face. Conviction in our capacity to adapt. Conviction that human-centered security isn't a philosophical stance but a practical necessity for survival in an AI-transformed threat landscape.
I've seen organizations survive sophisticated attacks because they built that conviction into their culture. And I've seen organizations with every technical control fail because they never believed it would happen to them.
That is why I am promoting human centered cybersecurity.
This is why Uy's words resonate so deeply with me. When he said cybersecurity is a "life skill," he articulated what I've witnessed across hundreds of fraud investigations spanning continents and industries: the threat has moved from the technical domain to the human domain.
What will fail is a human judgment call under pressure.
And I don't say that to blame the victims. I say it because we've been building security that doesn't account for how humans actually make judgement in real-world conditions.
Throughout my career responding to these incidents globally, I've seen one pattern transcend geography, industry, and organization size- the human element is simultaneously our greatest vulnerability and our most powerful defense.
This is why I've built my work around a fundamental principle: cybersecurity for humans, by humans, with humans at the center. Not because technology doesn't matter--it does--but because technology without human understanding creates the illusion of security while leaving our most critical assets unprotected.
When the attack vector is a conversation, when the exploit is trust, when the vulnerability is human judgment under pressure--technical controls alone cannot save us.
Nobody should be left behind in this transformation. Not the executive who doesn't understand technical jargon. Not the administrative assistant who isn't invited to security briefings. Not the warehouse worker who rarely touches a computer. Not your parents. Not your children.
Because AI-powered attacks don't discriminate. They target the newest employee who doesn't yet know the red flags. The overwhelmed manager processing 200 emails a day. The helpful receptionist trained to be accommodating.
I've interviewed all of them in post-incident reviews. Without exception, they describe feeling like they failed. Like they should have known. Like the training should have prepared them.
But the training was designed for yesterday's threats. And we're facing tomorrow's.
They target humans being human.
The research validates what I've observed in practice. Studies on human factors in cybersecurity demonstrate that technical controls alone fail when human judegement isn't integrated into security design (Sasse & Flechais, 2005). Work on susceptibility to social engineering shows that knowledge of threats doesn't automatically translate to threat recognition in realistic contexts (Vishwanath et al., 2011; Wright & Marett, 2010).
These aren't just academic papers to me. They're frameworks that explain why some organizations I work with succeed while others repeatedly fall victim to the same attack patterns.
We need security that works for how humans actually process information, make judgement under pressure, and navigate trust relationships--not security that demands humans become more machine-like. We need to stop treating people as "the weakest link" and start recognizing them as the most adaptive, intuitive defense system we have.
This is what human-centered cybersecurity means: building defenses that acknowledge human nature rather than fighting against it. Creating awareness that empowers rather than overwhelms. Designing systems that support human judgment rather than bypassing it.
Because when cybersecurity becomes a life skill--not a technical specialty--everyone becomes a defender. And that's exactly what we need in a world where the attack comes through a conversation.
Tomorrow, I'm taking you inside the Copenhagen study adjusted for 2025's threat landscape. Because if the Copenhagen study taught us anything, it's this:
You don't really understand a threat until you've felt it yourself.
Until you've received a phishing email so well-crafted you hesitated. Until you've heard a deepfake voice that made you doubt your certainty. Until you've seen how easily the tools of deception are now available to anyone.
Thank you for reading my blogs everyday till now, and
Wish you and your loved ones a peaceful new year and see you tomorrow.
-----
References 出典・参考文献
Anthropic. (2024). Disrupting the first reported AI-orchestrated cyber espionage campaign. https://www.anthropic.com/news/disrupting-AI-espionage
[Full technical report: https://assets.anthropic.com/m/ec212e6566a0d47/original/Disrupting-the-first-reported-AI-orchestrated-cyber-espionage-campaign.pdf]
CNN. (2024, May 17). Engineering firm Arup duped out of $25 million in deepfake scam. https://www.cnn.com/2024/02/04/asia/deepfake-cfo-scam-hong-kong-intl-hnk/index.html
Cybersecurity Ventures. (2025). Cybercrime to cost the world $10.5 trillion annually by 2025. https://cybersecurityventures.com/cybercrime-damage-costs-10-trillion-by-2025/
Kang, D., Li, X., Stoica, I., Guestrin, C., Zaharia, M., & Hashimoto, T. (2023). Exploiting programmatic behavior of LLMs: Dual-use through standard security attacks. arXiv preprint arXiv:2302.05733.
Sasse, M. A., & Flechais, I. (2005). Usable security: Why do we need it? How do we get it? In L. F. Cranor & S. Garfinkel (Eds.), Security and usability: Designing secure systems that people can use (pp. 13-30). O'Reilly Media.
Vishwanath, A., Herath, T., Chen, R., Wang, J., & Rao, H. R. (2011). Why do people get phished? Testing individual differences in phishing vulnerability within an integrated, information processing model. Decision Support Systems, 51(3), 576-586. https://doi.org/10.1016/j.dss.2011.03.002
World Economic Forum. (2025). Global cybersecurity outlook 2025. https://www.weforum.org/publications/global-cybersecurity-outlook-2025/
World Economic Forum. (2025, September 30). Cybersecurity awareness: AI threats and cybercrime in 2025. https://www.weforum.org/stories/2025/09/cybersecurity-awareness-month-cybercrime-ai-threats-2025/
Wright, R. T., & Marett, K. (2010). The influence of experiential and dispositional factors in phishing: An empirical investigation of the deceived. Journal of Management Information Systems, 27(1), 273-303. https://doi.org/10.2753/MIS0742-1222270111