【Human-Centered AI｜Day 1/10】AIは、人間を判断から排除してはならない。
AIは、情報を処理し、リスクを検知し、分類し、予測し、要約し、推奨し、自動化する。
情報処理の速度と規模において、AIは人間の能力を大きく上回る。
しかし、Human-Centered AIの観点で重要なのは、自動化の高度化が、そのまま人間の統制の低下を意味するわけではないという点である。
Shneidermanは、高い自動化と高い人間統制を同時に追求する設計こそが、信頼でき、安全なAIにつながると論じている [1]。
速さは、知恵ではない。
自動化は、説明責任ではない。
私たちはしばしば、「AIを導入すれば、人間の負荷は減る」と考える。
しかし実際には、AIは負荷を単純に消すとは限らない。むしろ、別の形で人間に再配分することがある。
人間は、AIが出力したスコア、推奨、分類、要約、アラートを理解し、解釈し、必要に応じて介入し、最終的にはその帰結に責任を負う。
自動化研究が早くから示してきたように、技術はmisuse、disuse、abuseを生み得る。したがって、人間の役割を名目的に残すだけでは、十分な人間の統制が確保されているとはいえない [2]。
さらに、AI支援意思決定には、二つの対照的な危険がある。
一つは、アルゴリズムが一度誤っただけで、人間が必要以上に信頼を失い、本来有効な支援まで退けてしまうalgorithm aversionである [3]。
もう一つは、AIの出力を過信し、人間が自ら検証し、問い返す姿勢を弱めてしまうことである。
AIへの過度な依存と過度な忌避は、どちらも望ましい状態ではない。
近年の体系的レビューでも、AIに対する依存や忌避は、システムの性能だけでなく、個人の特性、課題の性質、AIの提示方法、組織の環境など、複数の要因によって左右されることが示されている [4]。
HCCSが考えるHuman-Centered AIとは、単に「人間がAIを使う」ことではない。
人間をループに残すだけでは足りない。
人間の判断力を、ループの中で守らなければならない。
AIが導入された環境の中でも、人が、
何が起きているかを理解できる
不確実性と限界を認識できる
立ち止まり、問い返し、異議を唱えられる
介入、停止、修正の権限を持てる
権限や情報を与えられないまま、結果への責任だけを負わされない
そのような条件を、システム設計と組織ガバナンスの両方に埋め込むことである。
NIST AI RMFは、人間とAIによって構成されるシステムにおける役割と責任を明確にし、監督のプロセスを定義、評価、文書化することを求めている [5]。
また、MicrosoftのResponsible AI Standardは、監督者がシステムの用途、挙動、限界、介入方法を理解し、AI出力への過信を抑制できるよう、適切な人間による監督を設計することを求めている [6]。
さらに同社の白書は、とりわけ高リスク領域において、人間が必要なときに制御を回復できるフェイルセーフと、有効な人間による監督を、AIガバナンスの中核に置くべきだと主張している [7]。
AIは、人間の判断を支援してよい。
しかし、責任だけを人間に残したまま、判断するための情報、能力、権限、介入可能性を静かに奪う設計は、Human-Centered AIではない。
あなたの組織では、AIが判断し、人間だけが責任を負う仕組みになっていないだろうか。
#HumanCenteredAI
#HCCS
#HumanCenteredCybersecurity
#AIGovernance
#Cybersecurity
#ResponsibleAI
#HumanJudgment
References
[1] B. Shneiderman, "Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy," International Journal of Human-Computer Interaction, vol. 36, no. 6, pp. 495-504, 2020, doi: 10.1080/10447318.2020.1741118.
[2] R. Parasuraman and V. Riley, "Humans and Automation: Use, Misuse, Disuse, Abuse," Human Factors, vol. 39, no. 2, pp. 230-253, 1997, doi: 10.1518/001872097778543886.
[3] B. J. Dietvorst, J. P. Simmons, and C. Massey, "Algorithm aversion: People erroneously avoid algorithms after seeing them err," Journal of Experimental Psychology: General, vol. 144, no. 1, pp. 114-126, 2015, doi: 10.1037/xge0000033.
[4] H. Mahmud, A. K. M. N. Islam, S. I. Ahmed, and K. Smolander, "What influences algorithmic decision-making? A systematic literature review on algorithm aversion," Technological Forecasting and Social Change, vol. 175, Art. no. 121390, 2022, doi: 10.1016/j.techfore.2021.121390.
[5] National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Jan. 2023, doi: 10.6028/NIST.AI.100-1.
[6] Microsoft, Responsible AI Standard, v2: General Requirements, Jun. 2022. [Online]. Available: https://cdn-dynmedia-1.microsoft.com/is/content/microsoftcorp/microsoft/final/en-us/microsoft-brand/documents/Microsoft-Responsible-AI-Standard-General-Requirements.pdf?culture=en-us&country=us. Accessed: Jul. 13, 2026.
[7] Microsoft, Governing AI: A Blueprint for the Future, May 2023. [Online]. Available: https://cdn-dynmedia-1.microsoft.com/is/content/microsoftcorp/microsoft/msc/documents/presentations/CSR/Governing-AI-A-Blueprint-for-the-Future.pdf. Accessed: Jul. 13, 2026.
