会話生成リソースの選び方
対話型のアシスタントやサポートボットを作るとき、モデルの賢さ以上に会話の状態をどう管理するかが実装の中心になる。単発の応答は簡単でも、文脈を保った自然なやり取りは設計次第で品質が大きく変わる。
履歴の扱いが設計の核
会話が続くほど過去のやり取りが積み上がり、毎回の入力トークンが増えてコストが伸びる。全履歴を送り続ける実装は、長い会話で破綻する。実務では、直近のやり取りは全文、古い部分は要約に置き換える、といった圧縮が要る。
会話履歴には個人情報が蓄積されます
利用者は会話の中で氏名・連絡先・状況を自然に打ち明けます。それをそのまま無期限に保存する設計にすると、プライバシーポリシー上の説明責任と漏えい時の影響が大きくなります。保持期間と保存範囲を先に決めてください。
逸脱をどう防ぐか
自由に会話できるということは、想定外の話題に引き込まれうるということでもある。サポートボットが無関係な質問に長々と答える、競合製品を推奨する、不適切な発言をする——といった事態は実際に起きる。システムプロンプトで役割を限定するだけでは不十分で、入力側のフィルタと出力側の検査を併用するのが現実的だ。
引き継ぎの設計
ボットで解決できない問い合わせを人間に引き継ぐ導線は、満足度に直結する。会話の途中でエスカレーションできるか、それまでの文脈を担当者に渡せるかを設計に含めておかないと、利用者は最初から説明し直すことになる。解決率より、解決できないときの体験が評価を分ける。