Day 13 | AIは万能薬ではない：守るべきは機械ではなく、人 But AI is not a cure: Protect the people, not just the machines
AIは万能薬ではない：守るべきは機械ではなく、人
AIが騒がれています。バズワードのように、なんでもAI.
しかし、今、サイバーセキュリティの現場にAIが導入されていく過程は、ある"静かな思い込み"に支配されています。
その前提は、とてもシンプルです。
AIを増やせば、負担は軽くなる。
しかし実際には、多くの現場で逆のことが起きています。
AIは検知を高速化し、可視性を高め、扱うべきシグナルの量を増やしていく。
それにもかかわらず、それに対応する人間の側は、ほとんど変わっていません。
システムだけが速くなり、人間はそのまま据え置かれているのです。
人間が置いていかれている。
問題はスピードではない
現場の疲弊は、ツール不足によって生じるものではありません。
それは、構造として無理のある期待から生まれます。
組織は、いまだに無意識のうちに次のような前提を持ち続けています。
・完璧なセキュリティ成果
・最小限の人員
・常時対応
・失敗ゼロ
これらの期待はAI以前から存在していました。
そしてAIは、それを取り除くどころか、しばしば増幅します。
システムが「より高度になった」とき、期待は静かに「より多くの成果」へとすり替わっていくのです。
構造が変わらなければ、AIはむしろ負荷を増やす
すでに過密なシステムにAIを追加すると、負担は軽減されるのではなく、再配分され、強化されます。
アラートは増え、相関は増え、意思決定はより速く、より多く求められる。
起きているのは「軽減」ではなく、"圧縮"です。
判断のサイクルは短くなり、回復の時間は消え、人間の神経系は常に緊張状態に置かれ続ける。
これは技術の問題ではありません。
システム設計の問題です。
AIが役に立つのは「期待」が変わったときだけ
AIが本当に機能するのは、システム全体のバランスを見直すために使われたときです。
人により多くを求めるためではなく、人を守るために使われるとき。
そのためには、「良いセキュリティ」の定義そのものを見直す必要があります。
たとえば：
・すべてのアラートに即時対応しなくてもよいという前提
・反応ではなく、優先順位づけができるワークフロー
・回復のための時間を意図的に組み込むこと
・活動量ではなく、有効性で評価すること
AIは、これらを支えることができます。
ノイズを増やすのではなく減らし、判断を奪うのではなく支え、すべてを埋めるのではなく、余白をつくる。
守るべきは「守る人」である
セキュリティは、システムやデータ、インフラを守るものとして語られがちです。
しかし、それを運用する人間が守られていなければ、セキュリティそのものが脆くなります。
疲弊は、
・判断を遅らせ
・精度を下げ
・やがて関与そのものを失わせる
その状態では、どれほど高度な技術であっても補うことはできません。
AIは万能薬ではありません。
それは、増幅装置です。
壊れた構造の中で使えば、負荷をさらに増幅し、人間中心に設計された環境で使えば、回復力を高める。
問われているのは、AIが役に立つかどうかではありません。
問われているのは、その周りに、どんなシステムをつくるのか。
そして最終的に そのシステムの中で、人間が生き残り、機能し続けられるのか。
そして、人間を守れるのか。
But AI is not a cure: Protect the people, not just the machines
The way AI is being introduced into cybersecurity is quietly governed by a false belief. The belief is simple:
We take the burden off if we develop more AI. But in lots of settings, the opposite is occurring. AI is speeding detection, increasing visibility, and driving up the volume of signals. And yet the humans doing the responding to those signals have often not changed. The system becomes faster. The humans do not.
The Real Problem Is Not Speed.
Defender fatigue is seldom a function of insufficient tools. It arises where expectations grow structurally unrealistic. Organizations continue to hold implicit expectations for:
- perfect security results
- minimal staffing
- continuous availability
- and zero tolerance for failure
These expectations predated AI. AI does not remove them. In many cases, it amplifies them. When the system becomes "more capable," in fact, the expectation subtly transforms to "more output."
AI Can Do More Harm if the Structure Is the Same.
AI adds to a crowded system; if it's added onto an overburdened one, it doesn't just take the load off. It redistributes, intensifies its impact. More alerts. More correlations. There are more decisions to be made and made faster. The result is not relief, it is compression. Decision cycles shrink. Recovery time disappears. The human nervous system continues to be under constant strain. So this is not an issue of technology. This is a system design problem.
AI Comes to Help Only When Expectations Shift. The AI becomes useful only when it is used to rebalance the system. Not in order to insist more must be demanded of the defenders -- but to protect them. This needs an intentional overhaul of how organizations define "good security." For example:
- Tolerance for the fact that not every alert needs to be addressed at once
- Creating workflows that enable prioritization rather than reactive behavior
- Introducing protected downtime and recovery cycles
- Measuring effectiveness, not just activity
AI can support these shifts by:
- filtering noise instead of amplifying it
- supporting judgment instead of replacing it
- creating space instead of filling every gap
Protecting the Defenders Is Part of Security
Security is often framed as protecting systems, data, and infrastructure. But without protecting the people who operate those systems, the security function becomes fragile. Fatigue leads to:
- slower decisions
- reduced accuracy
- and eventually, disengagement
Even the most sophisticated technology in the world doesn't at that time make up for it.
Conclusion. AI is not a cure. It is an amplifier. If we use it for a broken structure, that will ramp up the strain. In a human-centered design sense, however, it can enhance resilience. The question is not if AI is capable of helping. The question is:
what kind of system we choose to build around it. And ultimately:
if that system allows humans to survive and continue to function within it.