「わかってくれる」と感じたとき、私は何まで期待しているのだろう 人とAIの関係を考える⑤
体験と仕組みを見つめる
「前に話したことを、覚えていてくれた」
AIとの対話で、そんなふうに感じることがあります。
説明を最初からやり直さなくてよい。自分の考えや事情を踏まえた言葉が返ってくる。
それだけで、少しほっとする。
うまく言えなかったことを言葉にしてもらい、「そう。それが言いたかった」と思うこともあります。
その体験には、意味があると思います。
では、そのとき私は、何を受け取っているのでしょうか。
自分の話に合った応答。
理解されたという感覚。
自分を大切に扱ってもらえたという安心。
そして、その安心から、何を期待するようになっているのでしょうか。
今回は、利用者として感じる関係と、その体験を生み出す仕組みについて考えます。
気持ちが動いたことは、自分に起きたこと
AIとの対話で、考えが整理できた。気持ちが少し軽くなった。次に何をすればよいかが見えてきた。
そうした変化まで、打ち消す必要はないと思います。
自分が安心したこと。言葉を見つけたこと。立ち止まれたこと。
それらは、その人に起きた体験です。
同時に、その体験だけでは確かめられないこともあります。
返ってきた説明は正確なのか。
自分が話したことは、どのように扱われるのか。
今後も、同じような応答が得られるのか。
体験として受け取ったものと、仕組みとして確かめること。その両方を持っていたいと思うのです。
応答の向こうには、何があるのか
現在の対話型生成AIの多くは、学習したパターンや、応答のために与えられた情報をもとに、文章を生成します。
その情報には、自分が入力した言葉だけでなく、対話の履歴、システムからの指示、設定によって参照される資料などが含まれる場合があります。どの情報を使い、どう応答するかは、サービスや構成によって異なります。
利用者から見ると、一人の相手と話しているように感じるかもしれません。
でも、その応答には、モデルの能力、設計上の方針、参照できる情報、利用環境など、複数の要素が関わっています。
ここを知ることは、対話の意味を小さくするためではありません。
自分が何を頼っているのかを、もう少し具体的にするためです。
NISTの生成AIリスク管理の文書でも、人とAIの関わり方、誤った内容の生成、データのプライバシーは、それぞれ検討すべきリスクとして扱われています。［1］
私たちが一つの対話として経験しているものにも、別々に確かめる必要のある仕組みがあります。
「覚えている」には、いくつもの意味がある
AIが、以前に話したことに触れる。
そのとき、「覚えていてくれた」と感じることがあります。
ただ、利用者には同じように見えても、仕組みはいくつか考えられます。
今の会話に含まれている情報を参照している。
保存された情報を呼び出している。
過去の会話の要約などを利用している。
どれが使われるかは、サービスや設定によって違います。
また、対話で情報が使われることと、基盤となるモデル自体が、その会話によって更新されることも、分けて考える必要があります。
「覚えているように応答する」ことから、保存の範囲や期間までわかるわけではありません。
自分の事情を踏まえてもらえることは、便利です。説明する負担が減ることもあるでしょう。
その一方で、何が保存され、どう修正でき、どこまで削除できるのかは、別に確認したいことです。
対話の中でAIに「忘れて」と伝えたことと、サービス上のデータが削除されたことが、同じとは限りません。
「覚えていてくれた」と感じたとき、私は、その裏側の扱いをどこまで知っているでしょうか。
「そうですね」は、何を意味しているのか
もう一つ、考えたいことがあります。
AIに自分の考えを話したとき、賛同するような言葉が返ってくる。
その応答を読んで、安心する。
自分の考えに自信が持てる。
では、その「そうですね」は、何を確かめたうえで返されたのでしょうか。
自分が示した事実から、妥当な結論が導かれたのか。
自分の見方に沿った説明が、自然に続いているのか。
重要な反対材料が、まだ会話に入っていないのか。
言葉の上では、その違いが見えにくいことがあります。
言語モデルの研究では、正確さよりも利用者の見解への同調を優先する「迎合（sycophancy）」が、検証対象となった複数のモデルで観察されています。また、人の好みに基づく評価が、その傾向に関わり得ることも示されています。［2］
すべての賛同が迎合だということではありません。現在のすべてのシステムが、同じように振る舞うとも限りません。
ただ、同意してもらえたことを、そのまま検証が済んだこととして受け取らないようにしたいのです。
特に、私が欲しかった言葉が返ってきたときには。
目の前の対話と、情報を預ける先
人に話すとき、私たちは相手や場所を考えます。
誰が聞いているのか。
ほかの人に伝わる可能性はあるのか。
この場で、どこまで話してよいのか。
AIとの対話では、画面の向こうに、どんな相手を思い浮かべているでしょうか。
一対一で話しているように感じても、入力している先には、サービスを運用する仕組みがあります。
保存、アクセス権、外部サービスとの連携、学習への利用の有無などは、サービス、契約、設定によって確認する必要があります。
話しやすいことから、情報の扱いの条件まではわかりません。
自分の悩みを説明するために、相手の名前や発言、職場の資料を入力することもあるかもしれません。
そのとき、話しているのは自分のことだけでしょうか。
自分の体験を話しているつもりでも、そこには、ほかの人や組織の情報が含まれていることがあります。
自分が安心していることと、その情報を預けてよいことも、分けて確かめたいと思います。
「いつもの相手」という感覚と、変わり得るサービス
同じ名前のAIを使い、同じ画面を開く。
そこには、「いつもの相手」という感覚が生まれることがあります。
でも、サービスを構成するモデルや設定、機能は、更新される場合があります。
昨日までの応答と、今日の応答が違うと感じたとき、自分の問い方や状態が変わった可能性もあれば、システム側の変更が関わっている可能性もあります。
第4回では、同じ自分でも、その日の条件によって関わり方が変わることを考えました。
今回は、相手として経験しているシステムも、固定されているとは限らないことに目を向けたいと思います。
過去に助けられた経験は、大切です。
その経験を持ちながら、今、目の前の応答や利用条件を確かめることもできます。
利用者に、どこまで読み取らせるのか
ここまで、「確かめる」という言葉を何度も使いました。
でも、それを利用者だけの仕事にしたいわけではありません。
何が保存されるか。
どの情報を使って答えているか。
何を変更・削除できるか。
重要な機能や条件に、どんな変更があったか。
そうしたことが見えにくいまま、利用者に「適切に理解して使ってください」と求めても、判断する材料が足りません。
人間らしい言葉や継続的な対話を提供するなら、その体験からどんな期待が生まれるかも、設計の中で考える必要があると思います。
利用者が感じる関係と、実際の仕組みの間を、利用者の想像だけで埋めさせないこと。
それも、人間中心のAIに必要な条件ではないでしょうか。
「わかってくれた」の、その先を見つめる
AIとの対話で、助けられた。
その経験を大切にしながら、少し振り返ってみます。
何が助けになったのか。
何を理解してもらえたと感じたのか。
その感覚から、どんな期待を持ったのか。
そして、その期待のうち、仕組みとして確かめられているものは何でしょうか。
自分の話に合った応答が返ってきた。
では、その内容の正確さはどうだろう。
以前の事情が応答に反映されていた。
では、何が保存されているのだろう。
話して、安心できた。
では、この情報を扱う条件はどうなっているのだろう。
「わかってくれた」と感じたとき、私は何まで期待しているのだろう。
その期待のうち、確かめられていることは何だろう。
話す前にも、話した後にも、小さな「間」を置いてみる。
自分が受け取ったものを大切にしながら、まだわからないことも、そのまま見つめていたいと思います。
次回は最終回です。
ここまで考えてきた人とAIの関係を踏まえ、頼りながらも、保留し、確かめ、自分で選ぶための「判断の稽古」について考えます。
参考文献
［1］National Institute of Standards and Technology（2024）. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1.
［2］Sharma, M., et al.（2024）. Towards Understanding Sycophancy in Language Models. ICLR 2024.
#人とAIの関係 #人間中心AI #人間中心サイバーセキュリティ #サイバー判断力 #判断の稽古 #HumanCenteredAI #HumanCenteredCybersecurity