Day 98 AI時代のリスクマネジメント　Risk Management in the AI Age

» 2026/02/03

[シリーズ構造] 柱F｜判断はどこで起きるのか

AIは判断を速くしますが、責任を消すことはできません。本稿は、AI時代のリスクマネジメントの本質として、どこまでを人の判断として残し、どこからを統制システムに委ねるのかの境界を考察します。曖昧な委譲は、機械が意思決定者のように振る舞いながら、責任だけが人に残る構造を生みます。人が意味と責任を定め、統制がそれを一貫して支えること。それが、AI時代に現実に耐える人間を置き去りにしないリスクマネジメントです。

▶ シリーズ全体マップ：人間のしなやかさ ― サイバー判断力のために

▶ 柱F｜リスクとガバナンス関連記事：

AI時代のリスクマネジメント

ここまで、ずいぶんぐるぐると歩いてきました。そろそろ、区切りをつけるタイミングです。今日はリスクマネジメントのまとめをしたいと思います。

u5292553157_Layers_of_semi-transparent_Swiss_cheese_floating__d832b29f-0fab-47f0-940c-619062e9159f_0.png

Day 82 から Day 97 まで、一貫していたテーマは「もっとセキュリティを」「もっとプロセスを」ではありませんでした。私たちが問い続けてきたのは、ただ一つです。

現実に耐えるリスクマネジメントを、人を置き去りにせずに、どう成立させるか。

AIの時代、この問いはもはや思想や理念の話ではありません。
運用の問題です。現場で起きている問題です。

AIが加速させる、特定の失敗パターン

AIは、ある特定の失敗を一気に加速させます。

ここで言う「加速」とは、AIそのものの危険性ではなく、責任と権限と可視性のズレが、短時間で表面化するという意味です。私が現場で一番多く見た破綻は、このズレを「運用で吸収できる」と過信したまま本番に入ってしまうことでした。

仕組みは自動化する。
けれど、判断は「人がやっていることにする」。

ここで、現代のガバナンスは壊れます。

AIが危険だからではありません。
責任は決して消えないのに、居場所だけが移動するからです。

その移動を設計しないまま進むと、最悪の状態に行き着きます。

半分だけの委任（Half delegation）。

実務での「Half delegation」には、分かりやすい症状があります。
• 承認者が、判断の根拠（ログ／トリガー／確信度）を見られない
• 異常時に止める権限（停止・遮断・ロールバック）を持てない
• 例外が運用に埋没し、記録されず、学習されない

これが揃った状態で「判断は人が持つ」と言うのは、判断ではなく、責任の預けっぱなしです。

機械は意思決定者のように振る舞い、何か起きたときの責任だけが、人に残る。

それは自動化ではありません。

誰かが悪いわけではない。
けれど結果として、人にだけ責任が集まる。
それは、設計の問題です。

脅威起点のリスクマネジメントは、どこに住むのか

「リスクは経営と現場をつなぐ運用の骨格のどこに位置づくのか？」

そう問われたとき、返ってくる答えは、驚くほどシンプルで、そして少しだけ、居心地が悪いものになります。

脅威起点のリスクマネジメントは、「判断」と「統制」の境界に住みます。

マネジメントが、意味を決める
何を最適化するのか。
何をトレードオフにしないのか。
どこが「引き返し線」なのか。
オペレーションが、現実を執行する
何がルーティングされ、
何が記録され、
何が遮断され、
何がアラートされ、
何が封じ込められるのか。
―それを、ぶれずに。
モデル（AI）は、「責任の霧」を生んではならない
人が責任を負うなら、見えて、動けなければならない。
機械が決めるなら、組織はそのリスクを明示的に引き受け、監視しなければならない。

脅威起点のきれいな図ではありません。
それは、たった一つの問いへの答えです。

どこまでを人の判断として残すのか。
どこからを、意図的に統制システムへ委ねるのか。

リスク管理サイクルを、もう一度「現実」に引き戻す

Identify → Assess → Evaluate → Treat → Monitor（特定 → 評価 → 判断 → 対応 → 見守る）

このサイクル自体は、すでによく知られています。
AIの時代になっても、言葉は変わりません。

変わるのは、「できた（done）」の定義です。

1) Identify ― 穴が並ぶ前に、新しい穴に名前をつける

AIは、新しいタイプの弱点を持ち込みます。
それらは静かなまま存在し続け、そして、ある日突然、表に出ます。

気づかないうちにズレていくモデル
不確実性を隠してしまうダッシュボード
ノイズのために人を呼び出すアラート
事後になっても説明できない意思決定
影響を与えられなかった結果の責任を負わされる人

問題は、「穴があるかどうか」ではありません。
複雑なシステムに、穴は必ずあります。

本当の問いは、ここです。

どの穴を人が扱うのか。
どの穴を、統制システムで塞ぐのか。

2) Assess ― 速さを最適化するのをやめ、責任を評価する

AIは速い。しかし、リスクは速さの問題ではありません。

リスクとは、不確実性の中で、責任を引き受けられるかという問題です。

AI時代に最も高くつく評価ミスの一つは、これです。（ここで「高くつく」は、再発頻度 × 影響 × 検知困難性の積として使います。派手さではなく、損失が積み上がるタイプのコストです。）

モデルは不確実性を見ている。
けれど人は、単一のスコアしか見ていない。

これは「インターフェースの問題」ではありません。責任の罠です。

3) Evaluate ― きれいさではなく、「引き受けられるか」で優先する

紙の上では「高リスク」に見えても、実際には誰にも扱えないリスクは、管理されません。

この連載で、何度も繰り返してきました。

判断の速度に乗らなければ、届かない
「赤」が解釈会議に変わった瞬間、シグナルではなくなる
人を守らない統制は、リスクを下げない

だから、脅威起点の評価は、とても実務的になります。

人が責任を負うなら、その人には、実際の権限と可視性がなければならない。

それ以外は、リスク管理ではありません。
責任の付け替えです。

4) Treat ― すべてを機能させる「分け方」

ここが Day 97 の核心でした。人に残すものと、統制に渡すものを分ける。

人の判断として残すもの

ゴール
何を最適化し、何を犠牲にしないのか。
ゴールを変えれば、システム全体が変わります。
境界線
どこまでが許容されるリスクなのか。
引き返し線はどこか。
リスク許容度は数値ではありません。
「Xが起きたらYをする」という、約束です。
例外
まれで、曖昧で、影響が大きく、価値判断を伴う状況。
例外は避けられない。
でも、黙った例外は選択です。
責任と学習
どう向き合い、どう学び、何を公平とするか。
それを決めるのは人です。
それは計算ではなく、文化の領域です。

統制システムに委ねるもの

繰り返し発生する付加情報の付与とルーティング
定型的な証跡収集
既知パターンに対する決定論的な封じ込め
注意力を守るためのアラート設計

実務で使える、シンプルなテストがあります。

システムを回し続けるために、人が何度も触らなければならないなら、それは努力不足ではなく、設計の欠陥です。

5) Monitor ― データ収集ではなく、状況認識

モニタリングとは、データを集めることではありません。
人が現実を把握し、判断できる状態を保つことです。

システムが動くなら、判断を支える痕跡を必ず残さなければならない。

シグナル、ログ、確信度、トリガー。

それがなければ、動かす機械と、見えないまま責任を負わされる人を、同時につくることになります。

Just Culture ― 人と自動化をつなぐ橋

自動化が進むほど、オペレーターを責めたくなる誘惑も強くなります。

「なぜ気づかなかったのか」
「なぜ承認したのか」
「なぜもっと早く対応しなかったのか」

AIは、この傾向をさらに悪化させます。
もっともらしい言い訳を生むからです。

「モデルがそう判断した」
「ツールが勧めた」
「システムがそのパターンを学習した」

誰も嘘はついていません。それでも、責任は霧の中に溶けていきます。

Just Culture は、「優しくするため」の考え方ではありません。
判断を、壊さないためにあります。

人が責任を負うなら、実際の権限と可視性が与えられていなければならない。
機械が決めるなら、組織はその判断を統制し、監視し、リスクを明示的に引き受けなければならない。

それ以外は、すべて責任の付け替えです。

引き渡しの契約 ― 裏切らない委任のために

本当の失敗は、自動化ではありません。
契約のない委任です。

健全な引き渡しには、三つの要素があります。

可視性
根拠、確信度、トリガーが見えること。
権限
権限のないオーナーシップは、偽の責任です。
受容
AIによる判断を本番で許すなら、受け入れるリスクは明示されなければならない。

黙った受容は、身代わりに責任を負わされる人を、必ず生みます。

一文で言うなら、人は、ゴールと境界を決める権利を持ち続ける。統制システムは、それを一貫して守る義務を負う。

それは、反AIではありません。人間中心の設計です。

次は、コンプライアンスへ（少し寄り道）

本筋に戻る前に、あえてコンプライアンスに立ち寄ります。

面白いからではありません。組織が最も簡単に「半分だけの委任」に陥る場所だからです。「判断は人が持つ」と書かれた規程があり、実際には、その判断に必要な可視性や権限が、システムによって静かに奪われている。

コンプライアンスは、判断の対極ではありません。判断が、最も失われやすい場所です。だからこそ、次に見るべき場所が、ここなのです。

今日からできること

「止める権限」を明文化する（誰が、何を、どの条件で止められるのか。止められないなら、責任も置かない）。

ーーーーーーーーー

[Series Structure] Pillar F | Where Judgment Happens

AI accelerates decisions, but it cannot eliminate responsibility. This article argues that effective risk management in the AI era depends on clearly defining what judgment must remain human and what can be consciously delegated to control systems. Blurry delegation creates a situation where machines act like decision-makers while humans are left holding the responsibility. Humans define meaning and accountability; control systems uphold them consistently. This is how risk management survives in the age of AI.

▶ Series overview: Series Overview -- Human Flexibility for Cyber Judgment

▶ Other posts in Pillar F (Risk & Governance):

Risk Management in the AI Age

(Wrap-up of Day 82-Day 97)

We've been circling this long enough.
It's time to close the loop.

u5292553157_Layers_of_semi-transparent_Swiss_cheese_floating__d832b29f-0fab-47f0-940c-619062e9159f_0.png

From Day 82 to Day 97, the through-line was never more security or more process.
It was this:

Risk management that survives reality--without leaving the human behind.

In the AI era, that stops being philosophical.
It becomes operational.

The failure mode AI accelerates

AI accelerates a very specific kind of failure:

We automate the mechanics. Then we pretend the judgment is still human.

That is where modern governance breaks.

Not because AI is "dangerous," but because responsibility never disappears--it just migrates.

If we don't design that migration, we end up in the worst possible state:

Half delegation.

Machines act like decision-makers, while humans keep the blame when things go wrong.

That is not automation. That is organizational hypocrisy.

Where does risk live in threat-aligned risk management?

If the question is "Where does this live inside the Management / Operating Model?"
the answer is simple and uncomfortable:

Threat-aligned risk management lives at the boundary between judgment and control.

Management sets meaning
What we optimize for.
What we refuse to trade away.
Where the stop line is.
Operations enforces reality
What gets routed, logged, blocked, alerted, contained--consistently.
Models (AI) must not create responsibility fog
If humans are accountable, they must be able to see and act.
If machines decide, the organization must explicitly accept and monitor that risk.

Threat-aligned is not a diagram. It is an answer to one question:

Where should judgment remain human, and where should we deliberately hand decisions to control systems?

The cycle, re-anchored

Identify → Assess → Evaluate → Treat → Monitor

You already know the cycle.
AI doesn't change the words.
It changes what "done" means.

1) Identify -- name the new holes before they line up

AI introduces new failure surfaces that stay quiet--until they don't:

models that drift silently
dashboards that hide uncertainty
alerts that page humans for noise
decisions no one can explain after the fact
people held accountable for outcomes they could not influence

The question is not whether holes exist.
In complex systems, they always do.

The real question is:

Which holes do we want humans to manage, and which should be sealed by system control?

2) Assess -- stop optimizing for speed; assess for responsibility

AI is fast.
Risk is not about speed.
It is about accountability under uncertainty.

One of the most expensive assessment failures in the AI era is this:

The model sees uncertainty.
The human sees a single score.

That is not "just a UX issue."
It is an accountability trap.

**3) Evaluate -- prioritize by ownability, not elegance**

A risk can look "high" on paper and still be unmanaged if it has no governable shape.

This series has been relentless on that point:

If it doesn't land at decision speed, it doesn't land.
If "Red" turns into interpretation meetings, it stops being a signal.
If controls don't protect people, they don't reduce risk.

So evaluation in a threat-aligned model becomes brutally practical:

If a human carries accountability, that human must have real authority and visibility.

Anything else is not risk governance.
It is blame relocation.

4) Treat -- the split that makes everything else work

This is the core move from Day 97:
separate what must remain human from what must become control.

Bucket A -- keep human judgment (ownership decisions)

Goals
What are we optimizing for, and what are we willing to sacrifice?
Change the goal, and the whole system changes.
Boundaries
What counts as acceptable risk? Where is the stop line?
Risk tolerance is not a spreadsheet value.
It is a commitment: when X happens, we do Y.
Exceptions
Rare, ambiguous, high-impact, value-sensitive situations must remain human-owned.
Exceptions are inevitable.
Silent exceptions are optional.
Accountability & learning
When harm occurs, humans decide how we respond, how we learn, and what fairness looks like.
That is culture--not computation.

Bucket B -- hand to systems (control decisions)

repetitive enrichment and routing
routine evidence collection
deterministic containment for known patterns
alerting that protects attention instead of draining it

A litmus test you can actually use:

If a human must repeatedly touch the system just to keep it running,
that is not diligence.
It is a design bug.

5) Monitor -- situational awareness, not data collection

Monitoring is not "collecting data."
Monitoring is keeping humans in a state where they can perceive reality and decide.

If systems act, they must leave traces that support judgment:
signals, logs, confidence, triggers.

Otherwise, you've built a machine that can move the world--
and a human who must answer for it blind.

Just Culture -- the bridge between humans and automation

As automation grows, so does the temptation to punish the operator:

"Why didn't you catch it?"
"Why did you approve it?"
"Why didn't you respond faster?"

AI makes this worse because it creates plausible deniability:

"The model decided."
"The tool recommended it."
"The system learned that pattern."

No one is lying.
And yet responsibility dissolves into fog.

Just Culture does not exist to "be nice."
It exists to keep judgment intact:

If humans are accountable, they must have real authority and visibility.
If machines decide, the organization must provide controls, monitoring, and explicit risk acceptance.

Anything else is blame relocation.

The handoff contract

Delegation without betrayal

The real failure mode is not automation.
It is delegation without a contract.

A proper handoff has three parts:

Visibility -- evidence, confidence, triggers
Authority -- ownership without power is fake responsibility
Acceptance -- if AI-driven actions are allowed, accepted risk must be explicit

Silent acceptance guarantees scapegoating later.

Day 98, in one sentence

Humans keep the right to decide goals and boundaries.
Control systems keep the duty to enforce them consistently.

That is not anti-AI.
That is pro-human engineering.

Next stop: compliance (a short detour)

Before returning to the main stream, it's worth pausing at compliance.

Not because compliance is exciting--but because this is where organizations most often fall into half delegation:

policies that say "humans own decisions,"
while systems quietly remove the visibility and authority to actually own them.

Compliance is not the opposite of judgment.
It is where judgment most often gets lost.

That's why this is the right next step.

References

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775-779. https://doi.org/10.1016/0005-1098(83)90046-8
International Electrotechnical Commission. (2010). Functional safety of electrical/electronic/programmable electronic safety-related systems (IEC 61508-1:2010). https://webstore.iec.ch/en/publication/5515
International Organization for Standardization. (2018). Risk management--Guidelines (ISO 31000:2018). https://www.iso.org/standard/65694.html
International Organization for Standardization. (2022). Information security, cybersecurity and privacy protection--Guidance on managing information security risks (ISO/IEC 27005:2022). https://www.iso.org/standard/80585.html
International Organization for Standardization. (2023). Information technology--Artificial intelligence--Guidance on risk management (ISO/IEC 23894:2023). https://www.iso.org/standard/77304.html
International Organization for Standardization. (2023). Information technology--Artificial intelligence--Management system (ISO/IEC 42001:2023). https://www.iso.org/standard/42001
Joint Task Force. (2020). Security and privacy controls for information systems and organizations (NIST Special Publication 800-53, Rev. 5). National Institute of Standards and Technology. https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.800-53r5.pdf
Joint Task Force. (2018). Risk management framework for information systems and organizations: A system life cycle approach for security and privacy (NIST Special Publication 800-37, Rev. 2). National Institute of Standards and Technology. https://csrc.nist.gov/pubs/sp/800/37/r2/final
Joint Task Force. (2012). Guide for conducting risk assessments (NIST Special Publication 800-30, Rev. 1). National Institute of Standards and Technology. https://csrc.nist.gov/pubs/sp/800/30/r1/final
National Institute of Standards and Technology. (2023). Artificial intelligence risk management framework (AI RMF 1.0) (NIST AI 100-1). https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics--Part A: Systems and Humans, 30(3), 286-297. https://doi.org/10.1109/3468.844354
Reason, J. (1990). Human error. Cambridge University Press. https://doi.org/10.1017/CBO9781139062367
Dekker, S. (2016). Just culture: Restoring trust and accountability in your organization (3rd ed.). CRC Press. https://www.taylorfrancis.com/books/mono/10.1201/9781315590813/culture-sidney-dekker-sidney-dekker

蓮見祥子 2026/02/03 07:30:02 Comment(0)

前の投稿へ

コメントを投稿する

SpecialPR

検索

Day 98 AI時代のリスクマネジメント　Risk Management in the AI Age