【Human-Centered AI｜Day 6/10】人間に、機械の仕事をさせない
すべてに人間を関与させることが、人間中心AIではない
AIの判断には、人間による確認が必要である。
この考え方自体は重要である。特に、影響が大きく、元に戻せず、説明責任を伴う判断においては、人間の関与は不可欠である。しかし、この原則を無批判に拡張すると、人間はAIが処理した大量の結果を最後に確認し続ける存在になってしまう。
AIが分類する。人間が確認する。
AIが推奨する。人間が承認する。
AIが文書を作る。人間が一件ずつ読み直す。
AIがアラートを出す。人間が一件ずつ閉じる。
形式上は、人間が意思決定の流れに残っている。だが、その人に十分な情報、時間、権限、拒否権がなく、ただ承認ボタンを押しているだけであれば、それは意味のある人間の関与とは言えない。
NISTのAI Risk Management Framework（AI RMF）は、AIを単なる技術システムではなく、人間、組織、運用文脈を含む socio-technical systemとして捉えている [1]。この観点に立てば、重要なのは「人間をループに残したか」ではない。重要なのは、人間が本当に判断できる条件が設計されているかである。
したがって、人間中心AIとは、すべての工程に人間を残すことではない。
それは、機械に任せるべき仕事と、人間に残すべき判断を、意図的に分けることである。
1. 「最後は人が確認する」の落とし穴
AIを導入した組織では、安全のためにしばしば次のような設計が採用される。
AIが処理するが、最後は人が確認する。
一見すると、これは慎重で安全な設計に見える。しかし、一日に数件であれば丁寧に確認できても、それが数百件、数千件になれば、人間はすべてを十分に検証できない。やがて確認作業は、画面を開き、AIの推奨を見て、大きな違和感がないことだけを確かめ、承認ボタンを押すという形式的な行為になりやすい。
この問題は、単なる怠慢ではなく、人間と自動化の関係に内在する構造的な問題である。自動化された判断支援に対して人間が過度に依存し、十分な独立検証を行わなくなる現象は、automation biasとして広く議論されてきた [2], [3]。特に、検証作業が複雑で、時間がかかり、認知的負荷が高い場合、人間の確認は実質的な監督ではなく、AI出力の追認に近づいてしまう [3]。
したがって、human-in-the-loop という構造そのものが安全を保証するわけではない。人間を流れの中に置くだけでは足りない。その人が、
- 判断の根拠を理解できる
- AIの推奨を疑える
- 必要な情報へアクセスできる
- 処理を止められる
- 推奨を拒否できる
- 他者へ相談できる
状態に置かれて初めて、意味のある人間の関与が成立する。
2. 機械に向いている仕事
では、何を機械やAIに任せるべきなのか。少なくとも、次のような仕事は機械に向いている。
2.1 繰り返しが多い仕事
同じ手順を何度も正確に実行する仕事である。たとえば、定型的なデータ入力、ファイル形式の変換、決められた宛先への振り分け、標準的な報告書の作成、既知ルールに基づく分類などが含まれる。こうした仕事は、判断というより処理の一貫性が重要であり、自動化との相性が良い。
2.2 ルールが明確な仕事
条件と処理内容が事前に定義されている仕事も、機械化しやすい。たとえば、「条件Aと条件Bを満たせば自動承認する」「条件Cに該当すれば専門部署へ送る」といった処理である。ここでは価値判断よりも、規則の安定適用が求められる。
2.3 大量情報の整理
人間が一件ずつ見るよりも、機械がまとめた方が速く、一貫して処理できる仕事もある。重複アラートの統合、関連ログの収集、過去の類似事例の検索、大量文書からの該当箇所抽出、一定形式への整形などが典型例である。NIST AI RMFも、人間中心の評価や運用を実現するには、単にAIを導入するのではなく、人間が扱える形で情報を提示することが重要だと示している [1]。
2.4 低リスクで可逆な仕事
仮に誤りがあっても影響が限定的で、後から修正可能な仕事は、自動化の対象になりやすい。重要なのは、あらかじめ安全な境界を定め、その範囲内で自動処理を行うことである。
3. 人間に残すべき判断
一方で、人間に残すべきなのは、単に「難しい仕事」ではない。計算量が大きくてもAIが得意な仕事はある。逆に、一見単純に見えても、人間が引き受けるべき判断がある。
3.1 目的を決める判断
何を達成しようとしているのか。何を最も重視するのか。速度、効率、利益のために何を犠牲にしてはならないのか。AIは与えられた目的を最適化できても、どの目的を選ぶべきかという判断は、価値と責任の問題である。これは組織の方針、人間の尊厳、公正さに関わるため、人間が所有すべきである [1], [4]。
3.2 境界を決める判断
どのリスクまで受け入れるのか。どこで処理を止めるのか。どの条件では必ず人間確認を入れるのか。こうした境界設定は、単なる効率設計ではなく、組織の価値観と説明責任の表明である。
3.3 例外を扱う判断
現実の仕事では、すべてがルールどおりには進まない。特別事情がある、証拠が矛盾している、前例がない、複数の利害が衝突している、人への影響が大きい。このような例外では、文脈理解、関係性理解、状況判断が必要になる。NIST SP 1270も、AIの問題はデータやモデルだけでなく、制度、組織文化、利用者、運用環境を含む社会技術的条件の中で生じると論じている [4]。したがって、例外処理は人間の判断に委ねる必要がある。
3.4 重大で不可逆な判断
雇用や評価への重大な影響、顧客サービスの停止、重要システムの遮断、社外への情報公開、人の権利や安全への影響など、一度実行すると元に戻せない判断には、形式的ではない人間の関与が必要である。ここで求められるのは「確認者」ではなく、「責任を引き受ける判断者」である。
3.5 責任と学習に関する判断
問題が起きたとき、誰を支えるのか、何を説明するのか、どう回復するのか、何を変えるのか、どこに責任があったのかを決めることは、計算ではない。そこには倫理、文化、公正さ、関係性が含まれる。AIは補助できても、最終的な意味づけと責任の引受けは人間の仕事である。
4. 具体例：セキュリティアラート
ある組織で、一日に1,000件のセキュリティアラートが発生するとする。そのすべてを人間が一件ずつ確認する必要はない。AIや自動化には、同一事象の重複統合、既知の誤検知除外、関連ログ収集、過去の類似事例提示、事前承認済みの低リスク処理の実行を任せることができる。
一方で、人間に残すべきなのは、本当に攻撃なのか正当業務なのか、システム停止が必要か、顧客や事業への影響をどう評価するか、通常ルールの例外を認めるか、誰へいつ報告するか、といった判断である。
ここで重要なのは、人間に1,000件の機械的確認をさせることではない。
人間の意味ある判断が必要な10件を明確にして渡すことである。
この観点は、人間の注意や時間が有限であることとも一致する。Beautementらのいう compliance budget は、人がセキュリティ行動に割ける時間、注意、労力には限界があることを示している [5]。また、過度なセキュリティ要求は security fatigue を生み、回避、諦め、形式化された対応を誘発する [6]。人間に大量の確認作業を残す設計は、安全のための設計ではなく、安全資源の浪費である。
5. 具体例：管理職の承認
管理職が一日に100件の申請を承認している状況を考える。その中には、金額が小さい、条件が明確、過去実績がある、後から取り消せる、事前許容範囲が定義されている案件も含まれるだろう。これらをすべて管理職が確認する必要はない。
一方で、高額である、通常ルールから外れる、利害関係がある、不可逆である、複数部署や顧客へ影響する案件には、人間の判断が必要である。
重要なのは、承認件数を維持することでも、管理職を形式的にループへ残すことでもない。
管理職の責任と判断が本当に必要な案件を、明確に分けることである。
ここで人間の役割は、「AIの後始末をする人」ではなく、「どの案件が人間の判断を必要とするかを引き受ける責任主体」でなければならない。
6. 三つに分けて考える
AIと人間の役割分担は、「AIに任せるか」「人間が決めるか」という二者択一ではない。実務上は、少なくとも次の三つに分けると整理しやすい。
6.1 機械が処理する
ルールが明確で、反復的で、低リスクな仕事。
6.2 AIが支援し、人間が判断する
AIが情報を集め、選択肢、不確実性、関連事実を整理し、人間が最終判断を行う仕事。
6.3 人間が所有する
目的、境界、例外、価値、重大な影響、責任に関わる判断。
この三つを曖昧にすると、実質的には機械が決めているのに人間だけが責任を負う状態、あるいは何でも人間へ戻されて人間が機械の補助部品になる状態が生まれる。どちらも人間中心AIではない。
7. 「人間の仕事」を増やすのではなく、人間らしい仕事を残す
人間中心AIは、人間の仕事を無理に残す考え方ではない。
人間が同じ画面を繰り返し確認し、大量通知を一件ずつ閉じ、AI出力を形式的に承認し、機械のミスを常時監視し、システムを動かすためだけに操作を続ける状態を守ることでもない。
それは人間を尊重しているのではなく、むしろ人間を機械の補助部品として使っている可能性がある。自動化研究においても、人間は自動化がうまくいかないときだけ呼び出され、しかもその頃には状況把握に必要な認知的準備が失われている、という逆説が繰り返し指摘されてきた [2], [7]。
人間に残すべきなのは、背景を理解すること、意味を考えること、目的を問い直すこと、境界を決めること、例外を扱うこと、人への影響を考えること、責任を引き受けること、失敗から学ぶことである。
8. HCCSが考えるHuman-Centered AI
HCCSが考えるHuman-Centered AIとは、すべての工程に人間を置くことではない。
それは、AIと人間の間で、
- 仕事
- 判断
- 権限
- 責任
を意図的に分けることである。
AIには、繰り返し、検索、整理、分類、比較を担わせる。
人間には、目的、境界、例外、意味、責任を残す。
そして、AIから人間へ判断を渡す場合には、少なくとも次の点が明確でなければならない。
- なぜ人間の判断が必要なのか
- 何が分かっているのか
- 何が分かっていないのか
- 人間にはどのような選択肢があるのか
- 人間は本当に止めたり拒否したりできるのか
これは単なるUI設計ではなく、ガバナンス設計であり、責任設計である [1], [4]。
9. 最後に
人が、システムを動かし続けるためだけに、何度も同じ確認や承認を行わなければならないのであれば、それは勤勉さの問題ではない。
設計の問題である。
すべてに人間を関与させることが、人間中心AIなのではない。
機械に向いている仕事は機械へ任せる。
AIが支援すべき判断と、人間が所有すべき判断を分ける。
そして、人間には、人間にしか担えない判断のための余白を残す。
人間に、機械の仕事をさせない。
機械に、人間の責任を負わせたふりもしない。
あなたの組織では、人間が本当に判断しているだろうか。
それとも、AIが処理した結果を確認し続ける、機械の補助役になっているだろうか。
参考文献（IEEE Style）
[1] E. Tabassi, "Artificial Intelligence Risk Management Framework (AI RMF 1.0)," NIST AI 100-1, National Institute of Standards and Technology, Jan. 2023. [Online]. Available: https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
[2] K. Goddard, A. Roudsari, and J. C. Wyatt, "Automation bias: A systematic review of frequency, effect mediators, and mitigators," Journal of the American Medical Informatics Association, vol. 19, no. 1, pp. 121-127, 2012. [Online]. Available: https://academic.oup.com/jamia/article-abstract/19/1/121/732254
[3] D. Lyell and E. Coiera, "Automation bias and verification complexity: A systematic review," Journal of the American Medical Informatics Association, vol. 24, no. 2, pp. 423-431, 2017. doi: 10.1093/jamia/ocw105.
[4] R. Schwartz, A. T. Vassilev, K. Greene, L. Perine, A. Burt, and P. Hall, "Towards a Standard for Identifying and Managing Bias in Artificial Intelligence," NIST Special Publication 1270, National Institute of Standards and Technology, Mar. 2022. [Online]. Available: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.Sp.1270.pdf
[5] A. Beautement, M. A. Sasse, and M. Wonham, "The compliance budget: Managing security behaviour in organisations," in Proc. New Security Paradigms Workshop (NSPW), 2008, pp. 47-58. [Online]. Available: https://www.nspw.org/papers/2008/nspw2008-beautement.pdf
[6] B. Stanton, M. F. Theofanos, S. S. Prettyman, and S. Furman, "Security fatigue," IT Professional, vol. 18, no. 5, pp. 26-32, 2016. [Online]. Available: https://csrc.nist.gov/pubs/journal/2016/09/security-fatigue/final
[7] R. Parasuraman, T. B. Sheridan, and C. D. Wickens, "A model for types and levels of human interaction with automation," IEEE Transactions on Systems, Man, and Cybernetics--Part A: Systems and Humans, vol. 30, no. 3, pp. 286-297, 2000.