第713回 重くなった生成AIの対処法
こんにちは、キャリアコンサルタント高橋です。
私は毎日、何かしらのことで生成AIを使うヘビーユーザーだと思っています。仕事では勿論、プライベートでも何かにつけて生成AIと対話をしています。生成AIは非常に便利である反面、ある問題があります。それは、使っていくと非常に重たくなってしまい、レスポンスが相当悪くなるのです。そこで、今回は重くなった生成AI対処法について私なりのやり方をご紹介したいと思います。
■生成AIが重くなる原因
生成AIは使い始めたときのレスポンスは比較的早いのですが、対話が長くなってくると途端にレスポンスが悪くなります。何なら数分ほったらかされることもあるくらい、相当重たくなります。
これは明確な理由がありまして、同じスレッドで延々と対話を続けていると、会話自体が長くなっていきます。生成AIはそれをすべて読み返して反応しているため、トークン数の量が膨大になっていきます。そのため、物理的に処理が重くなってしまい、返答までに時間がかかってしまいます。
そのため、本来であれば話す内容を限定したり、話題が変わってしまう場合には新しいチャットを立ち上げるなどをすればよいのですが、１つのチャットで対話が進んでしまうと、そこまでの内容を踏まえた上で話が進まないと正確な情報を受け取れなくなってしまうんです。こうしたことから、なかなか新しいチャットを立ち上げて、そちらに話を移そうという気が起きなかったりします。
■重くなった生成AIの対処法
そこで、私がやっているのは移行スクリプトをつくることです。
これは長くなったチャットの情報を新しいチャットに引き継ぐことで、チャットの情報は残しつつ重さを軽くする方法です。やり方は簡単で、生成AIにこのように依頼をすればOKです。
このチャットが重くなってきたので、新たに別のチャットを立ち上げたい。 移行するためのスクリプトを書いてほしい。
このように書くと、生成AI側は勝手にスクリプトを用意してくれるんです。後はこれを新しいチャットに張り付ければ、ほぼ問題なくチャットの内容を引き継いで対話を進めることができます。
これ以外にもキャッシュをクリアしたり、チャットの履歴をクリアしたりするなどをすると、多少軽くなったりすることはあるかなと思います。
■生成AIが便利だからこそ、重たくなる問題は何とかしたい
私は相当生成AIを使って仕事をしています。あまりに使い過ぎて、生成AIが私の部下のように感じてしまったりすることもあります。なのでちゃんと返答してくないときは
「何度言ったら分かるの？ 」
みたいなことを言ってしまうことがあります。それって、こちらの指示ミスであることが多いんですが、そんなことは分かっていてもこんな返答をしちゃうくらい、私は生成AIと深く関わっています。
だからこそ、こうした生成AIが重くなる問題は仕事のペースにも支障を来たすので何とかしたいんです。
現状、私は移行スクリプトを使うことで何とか対応しているような状態なんですが、こうした悩みを持たれている方は多くおられるのではないかなと思います。
この辺は技術の進歩に伴い時間が解決してくれるんじゃないかなって淡い期待を持ってたりするんですが、これからますます生成AIの需要が高まるにつれ、利用者側も重たくならないような使い方というのが生成AIの利用ポリシーみたいになってくのかなと思ったりします。
私は生成AIを使っている時間はかなり多い方だと思いますが、使いこなせていると言えば正直自信はありません。ですので、こうしたことを一つずつトライ＆エラーで試しながら、自分なりの生成AIとの付き合い方を模索していきたいなぁと思っています。