【Human-Centered AI｜Day 2/10】AIは治療薬ではない。増幅器である。
AIは、過負荷、人材不足、意思決定の遅延、複雑化した業務を改善する手段として組織に導入される。
しかし、Human-Centered AIの観点から見れば、AIはそれ自体で組織を健全化する「治療薬」ではない。むしろAIは、既存の業務設計、情報の流れ、権限配分、説明責任の置き方を、より速く、より広く、より強く増幅する社会技術的装置である。高い自動化は、高い人間統制と両立するように設計されなければならず、そうでないとAIは組織の弱点を拡張する [1], [5].
たとえば、責任や優先順位が曖昧な組織にAIを導入すると、AIは効率ではなく混乱を増幅する。大量のアラートや推奨が生成され、すべてが重要に見え、確認作業だけが増え、誰が何を基準に判断すべきかが見えにくくなる。アラート疲労の研究では、一般的な業務量そのものよりも、反復的で情報価値の低い通知と、複雑な業務文脈が認知的負荷を高め、対応の質を低下させることが示されている [3]。また、自動化研究は、技術が単純に負荷を除去するのではなく、misuse・disuse・abuse という別種の失敗を生みうることを早くから指摘してきた [2]。
その結果、AIによって仕事が減るどころか、確認、承認、説明、監視、例外処理といった新しい仕事が増えることがある。しかもそのとき、人間に与えられるのは十分な判断権限ではなく、短縮された応答時間と、失敗時の最終責任だけである。この種の構図は、実質的な監督能力を伴わない「人間による監督」が、かえって組織に誤った安心感を与え、制度的責任の所在を曖昧にしうるという指摘とも整合する [8]。MicrosoftのResponsible AI Standardも、監督者がシステムの用途、挙動、介入方法、そして automation bias の危険を理解できるように設計しなければならないと明示している [6]。
他方で、人間中心に設計された組織では、AIはまったく異なるものを増幅しうる。分散した情報を接続して状況認識を高め、影響度や緊急度に応じて優先順位を整理し、事実・推定・不確実性を区別して提示し、過去の類似事例や対応手順を参照可能にし、人が止まる、問い返す、相談するための余地をつくる。そのときAIが増幅するのは、可視性、予測可能性、学習、そしてレジリエンスである。NIST AI RMFは、こうした運用を支えるために、人間-AI構成における役割・責任・連絡系統の明確化、ならびに監督プロセスの定義・評価・文書化を求めている [5]。さらに、World Economic Forumの白書は、強い人間的監督なしに自律性の高いAIが業務プロセスを駆動する場合、リスク伝播が拡大しうると警告している [7]。
だから問うべきなのは、
「このAIには何ができるか」
だけではない。
「このAIは、私たちの組織の何を増幅するのか」
という問いである。
AIが増幅しているのは、可視性と学習だろうか。
それとも、過負荷、監視、曖昧な責任、そして人間の沈黙だろうか。
#HumanCenteredAI
#HCCS
#HumanCenteredCybersecurity
#AIGovernance
#ResponsibleAI
#Cybersecurity
#OrganizationalResilience
References
[1] B. Shneiderman, "Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy," International Journal of Human-Computer Interaction, vol. 36, no. 6, pp. 495-504, 2020, doi: 10.1080/10447318.2020.1741118.
[2] R. Parasuraman and V. Riley, "Humans and Automation: Use, Misuse, Disuse, Abuse," Human Factors, vol. 39, no. 2, pp. 230-253, 1997, doi: 10.1518/001872097778543886.
[3] J. S. Ancker et al., "Effects of workload, work complexity, and repeated alerts on alert fatigue in a clinical decision support system," BMC Medical Informatics and Decision Making, vol. 17, no. 1, Art. no. 36, 2017, doi: 10.1186/s12911-017-0430-8.
[4] H. Mahmud, A. K. M. N. Islam, S. I. Ahmed, and K. Smolander, "What influences algorithmic decision-making? A systematic literature review on algorithm aversion," Technological Forecasting and Social Change, vol. 175, Art. no. 121390, 2022, doi: 10.1016/j.techfore.2021.121390.
[5] National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Jan. 2023, doi: 10.6028/NIST.AI.100-1.
[6] Microsoft, Responsible AI Standard, v2: General Requirements, Jun. 2022. [Online]. Available: https://cdn-dynmedia-1.microsoft.com/is/content/microsoftcorp/microsoft/final/en-us/microsoft-brand/documents/Microsoft-Responsible-AI-Standard-General-Requirements.pdf?culture=en-us&country=us. Accessed: Jul. 14, 2026.
[7] World Economic Forum, Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards, 2025. [Online]. Available: https://reports.weforum.org/docs/WEF_Artificial_Intelligence_and_Cybersecurity_Balancing_Risks_and_Rewards_2025.pdf. Accessed: Jul. 14, 2026.
[8] B. Green, "The flaws of policies requiring human oversight of government algorithms," Computer Law & Security Review, vol. 45, Art. no. 105681, 2022, doi: 10.1016/j.clsr.2022.105681.