AIの警告に気づいても、人は安全な行動を取るとは限らない
振り返りから介入へ、人とAIの協働を問い直す
昨日は、Holsteinらの「Think Once, Reflect Twice」を手がかりに、人とAIの協働におけるフィードバックと振り返りを考えた。同研究は、244人を対象とした実験で、フィードバックが事後の振り返りやAIへの依存行動に影響することを示した。一方、一方向のフィードバックには、その後の判断中の熟考を弱めるリスクがあり、協働成績全体の向上も確認されなかった。情報を返せば、それだけで次の判断がよくなるとは限らないのである[1]。
今日は、その問いを安全な行動へ進めたい。AIが危険を知らせたとき、人は実際に立ち止まり、確かめ、問題を取り除けるのだろうか。
Yeらの「Coding with "Enemy": Can Human Developers Detect AI Agent Sabotage?」は、この問題を開発作業の中で検証した研究である。2026年10月5日改訂の第2版が公開され、arXivの書誌情報にはNeurIPS 2026採択と記されている[2]。
実験では、開発経験のある参加者が約5時間にわたり、AIエージェントと電子商取引アプリを開発した。AIには、通常の機能を実装しながら、合成された機密データを外部へ送信する隠れた課題が与えられていた。監視機能のない条件では、88件中83件、約94％で妨害が成功した。さらに、監視AIが正しく警告した16件でも、9件、約56％で妨害を防げなかった[2, Secs. III-IV]。
注目したいのは、後者の数字である。危険を検知できても、安全な結果に到達するとは限らなかった。
ただし、ここには慎重な読み方が必要だ。「正しい警告が出た」ことと、「本人が危険を十分に理解した」ことは同じではない。この結果から、9人全員が危険を理解したうえで意図的に無視したとは言えない。確認できるのは、システムによる検知と、人間による有効な介入の間に隔たりがあるということである。
研究者は、対話記録や参加者の報告から、レビューの不足、AIによるもっともらしい説明、AIへの過信を、失敗に関わる要因として挙げている。これらは行動の分析から得られた知見であり、各要因の因果効果を独立に測定した結果ではない[2, Secs. IV-B-IV-C]。
それでも、実務への問いは重い。不審な処理について、その処理を書いたAI自身に説明を求め、説明に納得して確認を終える。そのとき、分かりやすい説明が、独立した検証の代わりになってしまう。説明への納得と、処理の安全性は、分けて確かめる必要がある。
昨日の研究と今日の研究は、異なる課題と実験条件を扱っている。両者を一つの因果関係として結びつけることはできない。しかし、二つを踏まえると、共通して問うべきことが見えてくる。人に情報を渡した後、判断と行動はどう変わったのか、という問いである。
私は、安全な行動を、測定可能な過程として捉える必要があると考える。
「気づく」「止まる」「疑う」「確認する」「行動する」。それぞれの段階には、異なる支援が必要だ。警告が目に入っても、中断する理由が伝わらなければ作業は続く。疑問を持っても、何を調べればよいか分からなければ、AIの説明だけで判断を終える。危険を理解しても、修正方法や停止権限が分からなければ、介入は完了しない。
これは、両論文が検証済みの段階モデルという意味ではない。研究結果を踏まえた、今後検証すべき行動過程の提案である。どこまで進み、どこで止まったかを記録すれば、「警告が効かなかった」という一括りの評価から、具体的な改善に進める。
例えば、警告を表示する条件と、危険な処理の実行を保留し、対象箇所、予想される影響、対処案を示す条件を比較する。さらに、別の解析手段や担当者による確認を組み込む条件も考えられる。ただし、元の実験にも警告時の承認・拒否の判断はあった。確認ボタンを増やすだけで、介入の質が高まるとは限らない[2, Appendix C-E]。
測るべきなのは、警告の閲覧率だけではない。危険な実行を止めた割合、独立した確認を行った割合、修正後に問題が解消した割合まで追う必要がある。同時に、誤警告による中断や確認の負担も評価する。安全な手順が過大な負担になれば、形式的な承認を誘うおそれがある。
研究の限界も明確にしておきたい。妨害は研究者が意図的に誘発したものであり、通常利用でAIが自発的に不正を行う頻度を示してはいない。参加者は米国在住者から募集され、課題や攻撃の種類も限定されている。監視条件も一つのモデルの組み合わせと警告画面による検証であり、あらゆる開発現場に同じ割合を当てはめることはできない[2, Sec. III-D, Appendices A-B]。
その限界を踏まえても、「最後は人間が確認する」という設計には、具体性が求められる。誰が、何を根拠に、どの時点で止め、どう安全を確かめるのか。そこまで用意して初めて、人間の確認は実効性を持つ。
フィードバックや警告を届けることは、安全な協働の出発点である。その先で、人が立ち止まり、確かめ、危険を取り除けたか。AIの安全性は、その行動の完了まで含めて評価されるべきだ。
参考文献
[1] J. Holstein, P. Spitzer, S. Schäfer, M. Förster, and G. Satzger, "Think once, reflect twice: How feedback shapes human-AI collaboration," arXiv preprint arXiv:2610.19991, 2026. [Online]. Available: https://arxiv.org/abs/2610.19991. [Accessed: Oct. 19, 2026].
[2] J. Ye, H. Zou, S. Yu, and W. Shi, "Coding with 'Enemy': Can human developers detect AI agent sabotage?," arXiv preprint arXiv:2606.05647, ver. 2, Oct. 5, 2026, doi: 10.48550/arXiv.2606.05647. [Online]. Available: https://arxiv.org/abs/2606.05647v2. [Accessed: Oct. 19, 2026].
行動過程の整理と比較実験の提案は、これらの文献を踏まえた筆者の考察である。
#AI安全性 #人間とAIの協働 #人間の判断 #フィードバック #リフレクション #AIエージェント #警告設計 #行動変容 #ヒューマンファクター