【Human-Centered AI｜Day 10/10】AI時代に、人間の判断と尊厳を守るための8原則
AIは、仕事を速くし、情報を整理し、判断を支援する。
しかし、AIの導入がそのまま人間の負担軽減につながるとは限らない。実際には、通知が増え、確認が増え、承認が増え、人間がAIの出力を監視し続ける状況が生まれうる。その結果、判断の実質は機械へ移る一方で、責任だけが人間に残ることがある。このような状態は、効率化の名の下で、人間の認知負荷、判断機会、介入権限、さらには職務上の尊厳を損なう可能性を持つ [1], [2]。
この10日間、私はHuman-Centered AIについて考えてきた。重要なのは、AIを導入するか否かという単純な二者択一ではない。問うべきなのは、AIによって、人間の仕事、判断、権限、責任がどのように再配分されるのかである。NISTのAI Risk Management Framework（AI RMF）が示すように、AIは単なる技術的成果物ではなく、人間、組織、制度、運用環境の中で機能する社会技術的システムとして扱われるべきである [1]。したがって、Human-Centered AIとは、すべての工程に人間を残すことではなく、AIと人間の役割を意図的に分け、人間にしか担えない判断、意味づけ、責任、関係性、回復の力を守ることである。
以下では、その考え方を、HCCSの立場から八つの原則として提示する。これは完成された普遍理論というより、既存研究、実務上の人間工学、AIガバナンス、セキュリティ文化研究を踏まえた規範的設計原則である [1]-[9]。
原則1｜目的を、人間が決める
AIは、与えられた目標に向けて効率的に最適化できる。しかし、何を目標とするのか、何を守るのか、速度、効率、利益のために何を犠牲にしてはならないのかを決めるのは、人間でなければならない。たとえば、処理件数だけを最大化すれば、丁寧な対応や例外への配慮が失われるかもしれない。不正検知率だけを高めれば、正当な利用者まで排除するかもしれない。採用効率だけを追求すれば、過去の偏りが再生産される可能性もある [1], [3]。
したがって、AI導入の起点は「何ができるか」ではなく、何のために使うのかである。目的設定は、単なる業務要件定義ではない。それは価値判断であり、どの利益を優先し、どの損失を許容しないかを決める行為である。Human-Centered AIは、AIを目標達成の道具として用いる前に、その目標自体を人間が吟味し続けることを求める。
原則2｜人間の負担を減らし、判断力を守る
AIを導入しても、人間の負担が減るとは限らない。むしろ、AIが大量のアラートを生成し、多数の候補を提示し、文章を作成し、人間がそのすべてを確認し続けるならば、人間は支援されているのではなく、AIの出力処理装置として使われているだけである。この状態では、人間は「最後の判断者」ではなく、「最後の作業者」へと変質する [4], [5]。
Beautementらの Compliance Budget は、人間がセキュリティやルール順守に使える時間、注意、努力には限界があることを示した [4]。また、Stantonらの security fatigue 研究は、繰り返し安全判断を要求されることで、人が諦め、回避し、リスクを過小評価し、意思決定を簡略化してしまうことを明らかにしている [5]。AI導入後に測るべきなのは、AIが何件処理したかだけではない。人間の認知負荷が減ったか、意味のある判断に集中できたか、不要な確認や承認が減ったかを評価しなければならない。
Human-Centered AIにおいて、AIは人間の注意を使い切らせるために存在するのではない。重要な判断のために、人間の注意を残すことこそが、その役割である。
原則3｜人間のために「間（Ma）」を残す
AIは情報処理を高速化する。しかし、処理が速くなるほど、人間にも即時の反応が期待されやすくなる。すぐ承認する。すぐ返信する。すぐ判断する。すぐ実行する。だが、人間の判断には、時に立ち止まり、違和感を確認し、事実と推測を分け、誰かに相談し、影響を想像し、一度保留する時間が必要である。
HCCSでは、この判断のための空間を「間（Ma）」と呼ぶ。これは伝統的な日本語概念を、AI時代の判断設計へ応用したものであり、ここでは刺激と実行のあいだに意図的に確保される判断余白を意味する。Maは、単なる休止ではない。誤判断を減らし、過度な自動化追従を避け、別の行動可能性を開くための実務的な設計要素である。
AIが人間中心であるためには、人間の「間」を奪ってはならない。むしろ、AIは人間が必要な場面で止まり、考え直し、問い返せるように、判断プロセスへ余白を埋め込むべきである。Human-Centered AIは、常に速い判断を要求する仕組みではなく、必要な場面で人が立ち止まれる仕組みでなければならない。
原則4｜人間に、機械の仕事をさせない
すべての作業に人間を残すことが、人間中心であるとは限らない。繰り返しが多く、ルールが明確で、大量処理が必要で、低リスクかつ可逆であり、検索、分類、整理、形式変換が中心となる仕事は、機械やAIに向いている [1], [9]。それにもかかわらず、人間が一日中、同じ種類の通知を確認し、AIの出力を閉じ、形式的な承認を繰り返しているならば、役割分担は再検討されるべきである。
Parasuramanらが示した自動化の段階モデルは、どの機能を人間が担い、どこを自動化すべきかを吟味する必要性を示している [9]。人間に残すべきなのは、目的を決めること、境界を定めること、例外を扱うこと、重大な影響を考えること、価値が衝突する場面で選ぶこと、そして責任を引き受けることである。不要な人間作業を残すことと、人間の判断を守ることは同じではない。人間の仕事を残すことではなく、人間らしい仕事を残すことが重要である。
原則5｜「半分だけの委任」を行わない
最も危険なのは、AIへ完全委任することだけではない。より現実的で、しかも見えにくい危険は、判断の実質はAIへ移しているのに、責任だけを人間へ残すことである。AIがリスクスコアを出し、順位を決め、推奨を示し、人間は最後に承認ボタンを押す。しかし、その人には根拠が見えず、不確実性も分からず、考える時間もなく、推奨を拒否する権限すら与えられていない。それでも問題が起きれば、その人が責任を負う。この状態を、HCCSでは「半分だけの委任」と呼ぶ。
これは、automation bias や verification complexity に関する研究とも整合する。人間が自動化の出力を独立に検証できないまま責任だけを負わされる状況では、監督は形式化し、意味のある介入は失われる [6], [7]。責任は、最後に操作した人へ集中的に帰属させるものではなく、目的設定、モデル選定、自動化範囲設定、リスク受容、運用設計に関わった者へ分配されるべきである。Human-Centered AIは、委任の程度と責任の所在を一致させることを要求する。
原則6｜人間-AIハンドオフを設計する
AIから人間へ判断を渡すことは、単なる通知や画面遷移ではない。そこでは、情報、権限、リスク、責任が移動する。HCCSでは、意味のあるハンドオフの条件を三つに整理している。すなわち、Visibility、Authority、Explicit Risk Acceptance である。
Visibilityとは、人間が判断に必要な情報を見られることである。根拠、不確実性、欠けている情報、反対証拠、選択肢と影響、AIの限界が見えなければ、人間は理解のないまま承認するしかない。Authorityとは、人間が実際に介入できることである。止める、拒否する、保留する、追加情報を求める、相談する、エスカレーションする、といった選択肢がなければ、その人は判断者ではなく作業者である。Explicit Risk Acceptanceとは、誰がどのリスクをどの条件で引き受けるのかが明示されていることである。これが曖昧であれば、事故後に責任の押しつけが生じる [1], [8], [9]。
Visibilityだけでは不十分である。理解しても何もできなければ意味がない。Authorityだけでも不十分である。見えないものへ介入することになる。そして両方があっても、リスク受容が不明確ならば、ハンドオフは責任移転の装置になる。三つがそろって初めて、人間へ本当の判断が渡される。
原則7｜安全とコンプライアンスを、最初から組み込む
AI利用者に対して、「注意してください」「規程を覚えてください」「毎回正しく判断してください」と求め続けるだけでは、安全は守れない。人間は疲れ、忘れ、急ぎ、ときに面倒な手順を回避する。だからこそ、安全とコンプライアンスを、人間の努力だけに依存させてはならない。
CISAの Secure by Design / Secure by Default は、安全な設定が最初から有効であること、危険な操作が容易であってはならないことを強調している [2]。同様に、AI利用においても、高リスク処理は自動実行しない、不確実性が高ければ止まる、機密情報アクセスを最小化する、重要操作を取消可能にする、利用可能なAIツールを明確にする、入力禁止情報を画面上で示す、高リスク用途を専門部署へ回す、例外や相談の経路を分かりやすくする、といった設計が必要である。
これは Safe Defaults と Compliance by Design の統合的発想である。安全な行動を、最も自然で、最も取りやすい選択にする。守るべきルールを、実際の仕事の流れに埋め込む。Human-Centered AIは、人にルールを覚えさせるだけでなく、正しい行動が自然に選ばれるよう設計することを求める [2], [4], [5]。
原則8｜非難ではなく、学習と回復を設計する
Human-Centered AIは、責任をなくす思想ではない。意図的な違反や悪意ある行動まで不問にするものでもない。しかし、人が間違えたときに、その人だけを責めて終わる組織は学習できない。必要なのは、なぜその行動がその状況では合理的に見えたのか、なぜ正しい手順が使いにくかったのか、なぜ相談できなかったのか、なぜ止める権限がなかったのか、なぜAIの推奨へ異議を唱えにくかったのか、という条件まで見ることである。
Dekkerのいう Just Culture は、人に優しくすることだけを意味しない。問題を早く報告し、小さな失敗から学び、重大事故を防ぐためのガバナンス原則である [8]。また、shadow security の研究は、人々の非順守行動を単なる逸脱として切り捨てるのではなく、組織設計の失敗を映す兆候として理解する必要を示している [10]。
AIも人間も、いつか間違える。重要なのは、失敗をゼロに見せることではない。失敗が起きても、被害を抑え、回復し、次の設計へ学びを戻せることである。Human-Centered AIは、非難の体系ではなく、学習と回復の体系でなければならない。
Human-Centered AIを支える三層モデル
この八原則を実装するには、個々のAI機能だけを見るのでは不十分である。少なくとも三つの層を同時に設計する必要がある。
第一はシステム設計層である。ここでは、安全なデフォルト、アクセス制御、自動化の境界、不確実性の表示、ログと監査証跡、取消と回復、高リスク処理の停止を設計する。人が毎回完璧に判断しなくても、重大事故につながりにくくする層である [1], [2]。
第二は判断とハンドオフ層である。ここでは、Visibility、Authority、Explicit Risk Acceptance、判断のための間、相談とエスカレーション、例外処理、人間とAIの役割分担を設計する。AIから人間へ、結論だけでなく、判断可能な形で情報と権限を渡す層である [6]-[9]。
第三は組織文化とガバナンス層である。ここでは、利用目的、価値と優先順位、責任分配、コンプライアンス、Just Culture、インシデントからの学習、教育と判断練習、経営層によるリスク受容を扱う。優れたAIシステムを導入しても、失敗を隠す文化や異議を唱えられない組織では、人間中心にはならない [1], [8], [10]。
三つの層は、相互依存している。文化だけでは危険なデフォルトを止められない。技術だけでは非難文化を変えられない。ハンドオフ設計だけでは組織学習は成立しない。Human-Centered AIは、技術、判断、組織の三層を同時に扱う設計思想である。
HCCSの立場
HCCSは、AIに反対しているわけではない。人間だけが常に優れていると主張しているのでもない。すべての仕事を人間に残したいわけでもない。AIには、機械に向いている仕事を担ってもらうべきである。大量の情報を整理し、重複をまとめ、見落としを補い、選択肢を示し、不確実性を可視化し、人間が重要な判断に集中できるようにする。その力は積極的に活用されるべきである。
同時に、人間には、目的を決め、境界を定め、例外を扱い、価値の衝突に向き合い、人への影響を考え、責任を引き受け、失敗から学び、関係を回復する役割がある。HCCSが目指すのは、人間とAIの競争でも、どちらが優れているかの決定でもない。人間とAIの役割、権限、責任を、互いの特性に合わせて設計することである。
Human-Centered AIは、技術の説明ではない
Human-Centered AIは、AIの画面を使いやすくすることだけではない。倫理原則を掲げるだけでもない。最後に人間の承認ボタンを置くことでもない。それは、どの仕事を自動化するのか、どの判断を人間に残すのか、人間には何が見えるのか、人間は本当に止められるのか、誰がリスクを引き受けるのか、失敗したとき誰を責め、何を学ぶのか、という組織設計そのものである。
最後に
AIは、仕事を速くすることができる。人間が見落としていたものを見つけることもできる。複雑な情報を整理し、人間の可能性を広げることもできる。だが、その導入によって、人間が考える時間を失い、AIの出力を処理し続け、判断する権限を失い、責任だけを引き受け、失敗を恐れて声を上げられなくなるようではならない。
Human-Centered AIとは、人間をAIのループに残すことではない。
それは、人間が、
- 理解できること
- 立ち止まれること
- 問い返せること
- 拒否できること
- 相談できること
- 責任ある判断ができること
- 失敗しても学び、回復できること
を守ることである。
AIは人を置き去りにしてはならない。
人が人間であり続けることを助けるべきである。
参考文献
[1] E. Tabassi, "Artificial Intelligence Risk Management Framework (AI RMF 1.0)," NIST AI 100-1, National Institute of Standards and Technology, Jan. 2023. [Online]. Available: https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
[2] Cybersecurity and Infrastructure Security Agency, Shifting the Balance of Cybersecurity Risk: Principles and Approaches for Security-by-Design and -Default, Oct. 2023. [Online]. Available: https://www.cisa.gov/sites/default/files/2023-10/SecureByDesign_1025_508c.pdf
[3] R. Schwartz, A. T. Vassilev, K. Greene, L. Perine, A. Burt, and P. Hall, "Towards a Standard for Identifying and Managing Bias in Artificial Intelligence," NIST Special Publication 1270, National Institute of Standards and Technology, Mar. 2022. [Online]. Available: https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.Sp.1270.pdf
[4] A. Beautement, M. A. Sasse, and M. Wonham, "The compliance budget: Managing security behaviour in organisations," in Proc. New Security Paradigms Workshop (NSPW), 2008, pp. 47-58. [Online]. Available: https://www.nspw.org/papers/2008/nspw2008-beautement.pdf
[5] B. Stanton, M. F. Theofanos, S. S. Prettyman, and S. Furman, "Security fatigue," IT Professional, vol. 18, no. 5, pp. 26-32, 2016. [Online]. Available: https://csrc.nist.gov/pubs/journal/2016/09/security-fatigue/final
[6] K. Goddard, A. Roudsari, and J. C. Wyatt, "Automation bias: A systematic review of frequency, effect mediators, and mitigators," Journal of the American Medical Informatics Association, vol. 19, no. 1, pp. 121-127, 2012. [Online]. Available: https://academic.oup.com/jamia/article-abstract/19/1/121/732254
[7] D. Lyell and E. Coiera, "Automation bias and verification complexity: A systematic review," Journal of the American Medical Informatics Association, vol. 24, no. 2, pp. 423-431, 2017. doi: 10.1093/jamia/ocw105
[8] S. W. A. Dekker, "Just culture: Who gets to draw the line?," Cognition, Technology & Work, vol. 11, pp. 177-185, 2009. [Online]. Available: http://kajabi-storefronts-production.s3.amazonaws.com/sites/3839/themes/2147871170/downloads/SjaeWrbjSmenkl4Nok8Z_JustCultureCTW.pdf
[9] R. Parasuraman, T. B. Sheridan, and C. D. Wickens, "A model for types and levels of human interaction with automation," IEEE Transactions on Systems, Man, and Cybernetics--Part A: Systems and Humans, vol. 30, no. 3, pp. 286-297, 2000.
[10] I. Kirlappos, S. Parkin, and M. A. Sasse, "Learning from 'Shadow Security': Why understanding non-compliance provides the basis for effective security," 2014. [Online]. Available: https://discovery.ucl.ac.uk/id/eprint/1424472/1/Kirlappos et al. - 2014 - Learning from "Shadow Security" Why understanding.pdf