Day 97 AI時代に、人が判断として持ち続けるもの In the AI Era, What We Should Keep as Human Judgment, and What We Should Hand to Control
[シリーズ構造] 柱F｜判断はどこで起きるのか
AIは判断を速くしますが、責任を引き受けることはできません。本稿は、AI時代において 人が保持すべき判断（目的・境界線・例外・責任） と、統制としてシステムに委ねるべき領域 を明確に考察します。曖昧な委譲は、失敗時に「責任だけが人に残る」構造を生みます。人が意味と責任を定め、統制がそれを一貫して支える。それが、AI時代の現実に耐えるリスクマネジメントです。
▶ シリーズ全体マップ： 人間のしなやかさ ― サイバー判断力のために
▶ 柱F｜リスクとガバナンス 関連記事：
- Day 81｜リスクを語れる共通言語をつくる
- Day 82｜ネガティブリスクとポジティブリスク ― 不確実性の両面を統治する
- Day 83｜サイバーリスクの構造化 ― 「気になる話」を比べられるシナリオに変える
- Day 84｜リスク・トレランスという境界線 ― 限界が重要な理由
- Day 85 | リスク許容度とは何か ―判断を本当に変える問い
- Day 86 | 判断はどこで起きるのか ― リスクが行動に変わる瞬間
- Day 87 | 良いコントロール／悪いコントロール
- Day 88 | コントロールが多すぎる組織は、なぜ疲弊するのか
- Day 89 | 「多さ」ではなく「効く」統制
- Day 90 | 境界シグナル（KRI）を、判断から行動へ
- Day 91 | リスク許容度を「意思決定ルール」にする
- Day 92 | サイバーリスクを、組織の中で「生かす」
- Day 94 | "5分"で届かなければ、届かない
- Day 95 | 本当にリスクを下げる、個人のパフォーマンス
- Day 96 | 人間を守るコントロールとは
- Day 97 | AI時代に、人が判断として持ち続けるもの
AI時代に、人が判断として持ち続けるもの／統制に委ねるもの
このシリーズで、私たちがずっと作ろうとしてきたものは、一つです。
現実に耐えられる人間を置いてきぼりにしないリスク管理。
Day 94 は、ボード向けの話でした。5分で伝わらないリスクは、存在しないのと同じ。
リスクが軽いからではありません。ガバナンスできる形になっていないからです。
Day 95 は、実行の話。可視化だけでは足りない。今日の行動を変えない指標は、飾りです。「赤」が解釈会議に変わった瞬間、それはもうシグナルではありません。
Day 96 は、人の話でした。人を守らない統制は、リスクを下げません。
手順だけが増え、声を上げるほど損をする組織は、静かになります。
安全になるわけではありません。
そして Day 97。
次の問いに進みます。
なぜなら、AIは今、私たちが排除しようとしてきた失敗の型を、一気に加速させるからです。
作業は自動化する。その一方で、判断は人がしているつもりでいる。
ここに、AI時代のリスク管理の核心があります。
どこまでを人の判断として残し、どこからを、意図して統制に委ねるのか。
これを意識的に決めない組織は、必ず第三の状態に流れ込みます。
半分だけ委ねる。
機械が意思決定者のように振る舞い、何かが起きたときの責任だけが、人に残る。
それは自動化ではありません。
AIは、速く判断します。
しかし、リスクには、責任が必要です。
AIは、分類し、予測し、推薦し、最適化する。
その速度と規模は、人間を圧倒します。
意思決定で最も重要なのは、速度ではありません。不確実性の中で、責任を引き受けることです。そのことを私は、国連時代、航空分野における安全やセキュリティに触れる中で、肌身で学びました。
安全の世界では、何十年も前から分かっている前提があります。事故は、たった一つのミスでは起きません。小さな弱点が、プロセス、監督、インセンティブ、設計、文化といった層をまたいで、偶然に並んだときに起きる。
それが、スイスチーズモデルの考え方です。
スイスに住んでいた頃、私はスイスチーズが好きで、よく食べていました。不思議なことに、あのチーズの「穴」は、どれ一つとして同じ形をしていません。
そして、重ねたときにだけ、たまたま向こう側が見える瞬間が生まれる。
穴は固定されていません。
開いたり、閉じたりしながら、動いています。
そして、それらが並んだ瞬間に、被害が生まれる。
AI時代には、新しい穴が現れます。
- 静かにずれていくモデル
- 不確実性を隠すダッシュボード
- ノイズでしかないアラート
- 後から誰も説明できないAI判断
- 結果だけを背負わされる人
もはや問題は、「穴があるかどうか」ではありません。
問いは、ここです。
どの穴を、人が引き受けるのか。
どの穴を、統制として塞ぐのか。
それを決めること自体が、AI時代の判断なのです。
Just Culture は、人と自動化をつなぐ橋
自動化が進むほど、組織には、ある誘惑が強くなります。
「なぜ気づかなかった？」
「なぜ承認した？」
「なぜ、もっと早く動けなかった？」
責任を、オペレーター個人に寄せる誘惑です。
ここで、Just Culture が立ち上がります。
安全の世界では、「怒られるから黙る」「報告しないほうが安全」という空気が、
本当の事故を生んできました。
だから Just Culture は言います。
罰が先に来ると、学びが消える。
学びが消えると、事故は繰り返される。
Just Culture とは、「失敗のあとに、人を黙らせるのではなく、組織を賢くする文化」です。
それは、甘さではありません。
責任逃れでもありません。
人は、自分の選択には責任を持つ。
けれど同時に、人がコントロールできなかった仕組みが生んだ失敗を、個人の罪にはしない。
この視点は、従来のITよりも、AIにおいて、はるかに重要になります。
なぜなら、AIは「もっともらしい説明」を簡単に作れてしまうからです。
「モデルがそう判断した」
「ツールがそう推薦した」
「システムがそう学習した」
誰も嘘はついていません。
けれど、責任の所在は、霧の中に消える。
Just Culture は、その霧を放置しません。
- 人が責任を負うなら、
実際の権限と、十分な可視性が必要です。 - 機械が決めるなら、
組織は、統制・監視・そして明示的なリスク受容を引き受けなければなりません。
そのどちらでもない状態――判断は機械、責任は人。
それは文化ではありません。
責任の付け替えです。
Just Culture は、人を守るための概念ではありません。
判断を守るための文化です。
そしてそれは、AI時代のリスク管理において、人と統制の境界線を引く、静かで、しかし決定的な橋になります。
人の判断として持ち続けるもの
ここにあるのは、「難しい判断」ではありません。
所有すべき判断です。
計算よりも、意味・正当性・トレードオフが問われる領域。
- ゴール
何を最適化し、何を犠牲にする覚悟なのか。ゴールを変えれば、システム全体が変わります。これは設計の問題であり、人の判断です。
- 境界線
どこまでを許容可能なリスクとするのか。止める線は、どこか。
リスク許容度は、スプレッドシートの数値ではありません。
「Xが起きたら、Yをする」という約束です。
- 例外
まれで、曖昧で、影響が大きく、価値判断を含む状況は、人が引き受けなければなりません。例外は、必ず起きます。ただし、黙った例外は選択です。
- 責任と学習
被害が起きたとき、どう対応し、何を学び、何を公正とするか。
それを決めるのは、人です。それが文化であり、計算ではありません。
これは このシリーズで扱ってきたテーマと同じです。
リーダーが決めるのは、「セキュリティが重要かどうか」ではありません。
決めるのは、常にこの三つのどれかです。
- 投資する
- 受け入れる
- 計画を変える
これらは、すべて人の判断です。
統制としてシステムに委ねるもの
ここでは、英雄的判断よりも、一貫性が勝ちます。
- 繰り返しのエンリッチメントやルーティング
- 定型的な証跡収集
- 既知パターンに対する決定論的な封じ込め
- 注意力を奪うのではなく、守るアラート
システムを回すために、人が何度も触らなければならないなら、それは勤勉ではありません。
設計の不具合です。
これは Day 94 の原則と同じ。「Red」が出ても、誰の仕事にもならないなら、それは運用ではなく、演出です。
人を呼び出すのは、緊急で、行動可能なときだけ。
手作業で、反復的で、自動化でき、戦術的で、線形にスケールする仕事は、取り除く対象です。
人を中心にしたチームを作りたいなら、人に機械の仕事をさせるのをやめることです。
引き渡しの契約
― 裏切らない委任のために
本当の失敗は、自動化ではありません。契約のない委任です。
正しい引き渡しには、三つの要素があります。
1) 可視性
統制システムが動くなら、必ず痕跡を残す必要があります。
シグナル、ログ、信頼度、不確実性、トリガー。
監視とは、データを集めることではありません。人が状況を把握し、判断できる状態を保つことです。
モデルは不確実性を見ているのに、人には単一スコアしか見えない。それは、責任の罠です。
2) 権限
人に介入を期待するなら、すぐに動ける権限と道具が必要です。「封じ込めの責任は現場にある」と言いながら、ホストを隔離できない、トークンを止められない、ロールアウトを止められない。
それは責任ではありません。見せかけの責任です。
見せかけの責任は、必ず抜け道を生みます。そして、その抜け道が、新しい穴になります。
3) 受容
解決できないリスクは、存在します。できるのは、引き受けることだけ。
だからこそ、承認があります。誰が、そのリスクを業務として許容するのか。
AIの行動が本番で許されるなら、そのリスク受容も、同じくらい明示的でなければなりません。
沈黙の受容は、あとで必ず、誰かをスケープゴート（身代り）にします。
AI時代の、人中心ルール
ゴールと境界線を決める権利は、人が持つ。
それを一貫して守る義務は、統制が持つ。
これは、反AIではありません。
人のためのエンジニアリングです。
ノイズ、トイル、不当な非難から人の判断を守ったとき、人は本来の役割に戻ります。
すべてを操作する存在ではなく、意味を与え、責任を引き受ける存在として。
今日からできること
AIに渡してはいけない「4つの判断」を1枚に書く。
ーーー
[Series Structure] Pillar F | Where Judgment Happens
AI makes decisions faster -- but it cannot own responsibility. This article clarifies what judgment must remain human (goals, boundaries, exceptions, accountability) and what should be delegated to control systems. Blurred delegation creates a dangerous gap where machines act, but humans take the blame. Humans define meaning and responsibility; controls enforce them consistently. This is risk management that survives the AI era.
▶ Series overview: Series Overview -- Human Flexibility for Cyber Judgment
▶ Other posts in Pillar F (Risk & Governance):
- Day 81 | Building a Shared Language for Risk
- Day 82 | Negative vs. Positive Cyber Risk -- Governing Both Sides of Uncertainty
- Day 83 | Structuring Cyber Risk -- Turning Concerns into Comparable Scenarios
- Day 84 | Risk Tolerance as a Boundary -- Why Limits Matter
- Day 85 | Defining Risk Tolerance -- The Questions That Actually Change Decisions
- Day 86 | Where Judgment Happens ー When Risk Turns into Action
- Day 87 | Good Controls / Bad Controls
- Day 88 | Why Over-Controlled Organizations Burn Out
- Day 89 | "Effective" Controls, Not "More"
- Day 90 | KPIs/KRIs That Drive Action
- Day 91 | Risk Tolerance as Decision Rules
- Day 92 | Cyber Risk Living Inside Enterprise Risk Management
- Day 94 | If It Doesn't Land in 5 Minutes, It Doesn't Land at All
- Day 95 | Individual Performance That Actually Reduces Risk
- Day 96 | What Does a "Human-Protecting" Control Look Like?
- Day 97 | Risk Management in the AI Era
In the AI Era: What We Should Keep as Human Judgment, and What We Should Hand to Control
We've been building one thing in this series:
Risk that can survive reality.
Day 93 was the board version: if it doesn't land in five minutes, it doesn't land. Not because the risk isn't real--because the shape is not governable.
Day 94 was the execution version: visibility is not enough. If a metric doesn't change what we do today, it's decoration. If "Red" turns into interpretation meetings, the signal stops being a signal.
Day 95 was the human version: controls that don't protect people don't reduce risk. If controls multiply steps and punish visibility, the organization gets quieter, not safer.
So Day 96 is the next question--because AI now accelerates the exact failure mode we've been trying to eliminate:
We automate the mechanics.
And then we pretend the judgment is still human.
This is the AI-era risk management question:
Where should judgment remain human, and where should we deliberately hand decisions to control systems?
If we don't answer that consciously, organizations drift into a third state:
We half-delegate.
Machines act like decision makers, while humans remain morally and operationally blamed when things go wrong.
That is not automation.
That is organizational hypocrisy.
AI makes decisions fast. Risk still requires responsibility.
AI can classify, predict, recommend, and optimize--at a speed and scale humans cannot match.
But the most important part of decision-making is not speed.
It is responsibility under uncertainty.
Safety disciplines have taught this for decades: incidents are rarely caused by a single mistake. They happen when multiple small weaknesses align across layers--process, supervision, incentives, design, culture. That is the logic of the Swiss Cheese Model: holes open and close dynamically, and harm happens when they line up.
In the AI era, new holes appear:
- a model quietly drifting
- a dashboard that hides uncertainty
- alerts that page humans for noise
- AI-driven decisions no one can explain after the fact
- people held accountable for outcomes they could not influence
The question is no longer whether holes exist.
It is: which holes do we want humans to manage, and which should be sealed by system control?
Just Culture is the bridge between humans and automation
As automation increases, so does the temptation to punish the operator:
"Why didn't you catch it?"
"Why did you approve that?"
"Why didn't you respond faster?"
A Just Culture perspective insists on balanced accountability: people are accountable for their choices, but they should not be blamed for failures created by systems they cannot control.
This matters more in AI than in classic IT, because AI creates plausible deniability:
"The model decided."
"The tool recommended it."
"The system learned that pattern."
Just Culture forces clarity:
- If humans are accountable, they must have real authority and visibility.
- If machines decide, the organization must provide controls, monitoring, and explicit risk acceptance.
Anything else is blame relocation.
The practical split: two buckets
Bucket A -- Human judgment (keep these human)
These are not "harder" decisions.
They are ownership decisions--where meaning, legitimacy, and trade-offs matter more than computation.
- Goals
What are we optimizing for, and what are we willing to sacrifice?
Change the goal, and the whole system changes. - Boundaries
What counts as acceptable risk? Where is the stop line?
Risk tolerance is not a spreadsheet value--it is a commitment: when X happens, we do Y. - Exceptions
Rare, ambiguous, high-impact, or value-sensitive situations must remain human-owned.
Exceptions are inevitable. Silent exceptions are optional. - Accountability and learning
When harm occurs, humans decide how we respond, how we learn, and what fairness looks like.
That is culture--not computation.
This is the same spine from Day 93: leadership is not deciding whether security is "important." They are deciding one of three things--invest, accept, or change the plan. Those are human decisions.
Bucket B -- Control decisions (hand these to systems)
This is where consistency beats heroics.
- repetitive enrichment and routing
- routine evidence collection
- deterministic containment for known patterns
- alerting that protects attention instead of draining it
If a human must repeatedly touch the system just to keep it running, that is not diligence--it is a design bug.
This is also the Day 94 rule in another form: if the system produces "Red" but not owned work, it becomes theater.
SRE wisdom applies cleanly here:
Page humans only when it is urgent and actionable.
If the work is manual, repetitive, automatable, tactical, and scales linearly, treat it as toil and remove it.
If you want a human-centered team, stop making humans do machine work.
The handoff contract: delegation without betrayal
The real failure mode is not automation.
It is delegation without a contract.
A proper handoff has three parts.
1) Visibility
If control systems act, they must leave evidence: signals, logs, confidence, and triggers.
Monitoring is not about collecting data.
It is about sustaining situational awareness so humans can make risk decisions.
And this is a high-leverage move. Meadows calls the structure of information flows one of the most powerful intervention points in any system.
If the model sees uncertainty but the human sees a single score, you have built an accountability trap.
2) Authority
If humans are expected to intervene, they must have permission and tooling to act quickly.
If analysts "own containment" but cannot isolate a host, disable a token, or pause a rollout, responsibility is fake.
Fake responsibility breeds workarounds--and workarounds become new holes.
3) Acceptance
Some risks are not solvable, only owned.
That is why authorization exists: a senior decision maker explicitly determines whether a risk is acceptable for operations.
If AI-driven actions are allowed in production, the accepted risks must be equally explicit.
Silent acceptance guarantees scapegoating later.
A human-centered rule for the AI era
If you remember only one rule, make it this:
Humans keep the right to decide goals and boundaries.
Control systems keep the duty to enforce them consistently.
That is not anti-AI.
That is pro-human engineering.
When we protect human judgment from noise, toil, and unfair blame, humans become what they were always meant to be in complex systems:
Not operators of everything,
but authors of meaning and guardians of responsibility.
References 出典・参照文献
Dempsey, K., Chawla, N. S., Johnson, A., Johnston, R., Jones, A. C., Orebaugh, A., Scholl, M., & Stine, K. (2011). Information security continuous monitoring (ISCM) for federal information systems and organizations (NIST Special Publication 800-137). National Institute of Standards and Technology. https://nvlpubs.nist.gov/nistpubs/legacy/sp/nistspecialpublication800-137.pdf
Ewaschuk, R. (n.d.). Monitoring distributed systems. In Site reliability engineering.
Meadows, D. H. (1999). Leverage points: Places to intervene in a system. The Sustainability Institute. https://donellameadows.org/wp-content/userfiles/Leverage_Points.pdf
National Institute of Standards and Technology. (2021). NIST RMF Quick Start Guide: Authorize step--Frequently asked questions (FAQs). https://csrc.nist.gov/csrc/media/projects/risk-management/documents/06-authorize step/nist rmf authorize step-faqs.pdf
Rau, V. (n.d.). Eliminating toil. In Site reliability engineering
Wiegmann, D. A., Wood, L. J., Cohen, T. N., & Shappell, S. A. (2021). The theory of active and latent failures: A brief introduction. International Journal of Environmental Research and Public Health, 18(19), 10159. https://pmc.ncbi.nlm.nih.gov/articles/PMC8514562/
Wu, A. W. (2013). Just culture: A foundation for balanced accountability and patient safety. Ochsner Journal, 13(3), 400-406. https://pmc.ncbi.nlm.nih.gov/articles/PMC3776518/