【Human-Centered AI｜Day 3/10】AIには、三つの顔がある。
AIを単なる「便利な支援ツール」として理解しているだけでは、組織の中でAIが持ち始めている本当の影響力を見落とす。Human-Centered AIの観点から重要なのは、AIの性能そのものだけではなく、AIが組織の中でどの役割を担い、人間の判断・行動・規範にどのような影響を及ぼすかである。高い自動化は高い人間統制と両立するように設計されなければならず、その設計を怠れば、AIは支援ではなく支配や混乱の媒体にもなりうる [1], [5].
1．攻撃者としてのAI
AI as Attacker
第一に、AIは攻撃者の能力を増幅する。生成AIは、不自然さの少ない文章、自然な翻訳、個別化された説得、音声・画像・動画の偽装を通じて、フィッシング、なりすまし、ディープフェイク、ソーシャルエンジニアリングを、より自然に、より安価に、より大規模に実行可能にする。研究では、生成AIが現実感の高いコンテンツ生成、精密な標的化、自動化された攻撃基盤を通じて攻撃の有効性を高めることが示されている [2]。また、World Economic Forumは、AIが攻撃の速度・規模・高度化を促進し、従来は高い技術を要した犯罪行為への参入障壁を引き下げると指摘している [6].
AIは、攻撃者の動機そのものを生み出すわけではない。
しかし、攻撃の機会を広げ、必要な技能とコストの壁を下げる。その結果、これまで人が違和感として捉えていた「不自然な日本語」「粗い文脈」「雑な偽装」は、もはや防御の前提として期待しにくくなる。Human-Centered Cybersecurityにとって重要なのは、ユーザに注意だけを求めることではなく、AIによって高度化した攻撃に対して、組織側の検知・支援・教育設計を再構築することである [2], [6].
2．支援者としてのAI
AI as Assistant
第二に、AIは支援者として機能しうる。AIは、分散し断片化した情報を接続し、パターンを見出し、判断に必要な材料を整理することに長けている。重複アラートの集約、事実と推定の分離、不確実性の明示、過去事例の参照、対応手順や選択肢の構造化は、その典型である。ここでの目的は、人間により多くの情報を押しつけることではない。むしろ、複雑な状況を、人間が理解し、比較し、判断できる形へと再構成することにある。Shneidermanが論じるように、人間中心AIの目標は、高い自動化と高い人間統制を同時に成立させることであり、そのときAIは人間の自己効力感・熟達・責任ある判断を支える [1].
産業界の実務文書でも、この方向性は共有されている。World Economic Forumは、AIがサイバー防御において、より広い予防、精度の高い脅威検知、自律的な対処、迅速なインシデント対応を支えうると述べている [6]。すなわち、AIは人間に代わってすべてを決める存在ではなく、人間がよりよく判断できる条件を整える支援者として設計されるべきである.
3．統治者としてのAI
AI as Governor
第三に、そして最も見落とされやすいのが、統治者としてのAIである。AIはすでに、行動の監視、異常の検知、リスクの評価、優先順位付け、準拠性の判定を通じて、何が正常で、何が危険で、何が許容可能かという組織の境界線の運用に関与している。ここでAIは単に仕事を助けるのではなく、組織のルールがどのように適用されるかに影響を与える存在になる。アルゴリズム管理研究は、こうしたシステムが監視・統制・責任分配のあり方を再構成し、管理者・労働者・アルゴリズムの境界を固定的ではなく交渉的なものへ変えると論じている [3].
だからこそ、ここで問うべきなのは性能ではなく、統治の設計である。
そのルールを定義したのは誰か。
AIの判断根拠は見えるのか。
境界を変更できるのは誰か。
例外を承認するのは誰か。
人はAIに異議を唱えられるのか。
最終的な責任を負うのは誰か。
NIST AI RMFは、AIリスク管理において、役割と責任の明確化、人間-AI構成の監督、苦情申立て・異議申立て・オーバーライドを含む運用後管理を求めている [5]。また、Microsoft Responsible AI Standardは、関係者がシステムの用途、挙動、介入方法を理解し、automation bias を意識しながら override・interrupt できるように設計すべきだとする [7]。さらにBen Greenは、名目的な「人間による監督」が、実効的な統制能力を伴わない場合、かえって誤った安心感を与え、ベンダや組織が責任を回避する温床になりうると批判している [4].
「統治者」とは、AIが組織を支配するという意味ではない。
AIが、人の行動、判断、評価、そして組織の規範にまで影響を及ぼす存在になっている、という意味である。
だからHuman-Centered AIでは、AIが何をできるかだけでは足りない。
AIがどの役割を担い、どこまで影響し、誰が止められるのかを設計しなければならない。
AIは、攻撃者にもなる。
支援者にもなる。
そして、静かに統治者にもなる。
あなたの組織では、AIのどの顔が最も見えているだろうか。
そして、最も見えにくい「統治者としてのAI」に、十分な備えができているだろうか。
#HumanCenteredAI
#人間中心AI
#HCCS
#AIガバナンス
#ResponsibleAI
#サイバーセキュリティ
#生成AI
#HumanCenteredCybersecurity
References
[1] B. Shneiderman, "Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy," International Journal of Human-Computer Interaction, vol. 36, no. 6, pp. 495-504, 2020, doi: 10.1080/10447318.2020.1741118.
[2] M. Schmitt and I. Flechais, "Digital deception: generative artificial intelligence in social engineering and phishing," Artificial Intelligence Review, vol. 57, Art. no. 324, 2024, doi: 10.1007/s10462-024-10973-2.
[3] M. H. Jarrahi, G. Newlands, M. K. Lee, C. T. Wolf, E. Kinder, and W. Sutherland, "Algorithmic management in a work context," Big Data & Society, vol. 8, no. 2, 2021, doi: 10.1177/20539517211020332.
[4] B. Green, "The flaws of policies requiring human oversight of government algorithms," Computer Law & Security Review, vol. 45, Art. no. 105681, 2022, doi: 10.1016/j.clsr.2022.105681.
[5] National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Jan. 2023, doi: 10.6028/NIST.AI.100-1.
[6] World Economic Forum, Artificial Intelligence and Cybersecurity: Balancing Risks and Rewards, 2025. [Online]. Available: https://reports.weforum.org/docs/WEF_Artificial_Intelligence_and_Cybersecurity_Balancing_Risks_and_Rewards_2025.pdf. Accessed: Jul. 15, 2026.
[7] Microsoft, Responsible AI Standard, v2: General Requirements, Jun. 2022. [Online]. Available: https://cdn-dynmedia-1.microsoft.com/is/content/microsoftcorp/microsoft/final/en-us/microsoft-brand/documents/Microsoft-Responsible-AI-Standard-General-Requirements.pdf?culture=en-us&country=us. Accessed: Jul. 15, 2026.