ウェビナーまとめ：自然に聞こえるAIエージェントの構築

多くのチームが、自然に話すエージェントを構築したいと考えています。

多くのチームが直面する課題は、タスクは完了できても、文脈や緊急性、感情を理解できないエージェントです。呼び出し元がそれに気づくと、信頼も対話の質も低下します。

最近開催したライブワークショップ：自然に話すAIエージェントの構築では、Luigi Sambuy（Forward Deployed Engineering）が、ロボットのように聞こえるエージェントと、本当に人間らしく感じられるエージェントの違いを解説しました。

自然に聞こえることが見た目以上に難しい理由

エージェントを導入するチームの多くは、すでに正確性を解決しています。エージェントは正しい回答を返し、適切なテーブルを予約し、正しいフライトをキャンセルします。

より難しいのは、伝え方を正しくすることです。

呼び出し元の感情に寄り添わず、緊急性を察知できず、どの質問にも同じ平板なリズムで答えるエージェントは、回答がどれほど正確でも不自然に感じられます。顧客は問題を解決してほしいだけでなく、その過程で話を聞いてもらえていると感じたいのです。

自然に話すエージェントの4つの特性

1. リズムと流れ：単調な読み上げではなく、自然なテンポ、間、速度の変化
2. ミラーリング：不満を抱く呼び出し元には気遣いを、よい知らせには温かみを持って応答すること
3. コンテキスト：ユーザー履歴、業務システム、文化・地域ごとの手がかりを取り入れ、画一的な回答を避けること
4. アイデンティティ：既製のデフォルト音声ではなく、ブランドのために作られた音声

デモ：自然に話すエージェントの実演

シナリオ：顧客がRosette Restaurantに電話し、予約を変更します。結婚5周年の記念日ですが、到着が遅れています。

実演内容：

• エージェントは、まず記念日を祝福し、温かく会話を始めました
• 伝えられた予約時刻と実際の予約内容の小さな食い違いを見つけ、推測せずに確認しました
• 予約を午後9時に変更し、頼まれる前に記念日にふさわしい窓側の席を提案しました
• 通話中を通して、エージェントは自然な間やつなぎ言葉を使い、その場に合わせて安心感があり、温かく、急かさないトーンに調整しました

重要な理由：これは別のモデルや、より強力なプラットフォームによるものではありません。違いを生んだのはプロンプトです。システムプロンプトによって、エージェントは文の途中で言い直したり、「何かを調べている」間に自然に言葉を濁したり、呼び出し元に合わせて感情的なトーンを変えたりできました。これらは、現在プラットフォーム上で構築するすべてのチームが利用できる手法です。

自然なエージェントを構築する7つのポイント

1. 感情タグ：v3会話モデルの表現モードおよびEleven v4で利用可能。トーンに変化をつけるための最も大きな鍵です
2. バックグラウンドノイズ：オフィスの環境音、都市の音、キーボード入力音などを加え、より身近で人間らしい文脈を作ります
3. システムプロンプトのトーン：実際に最も大きな違いが生まれる部分です
4. 積極性の設定（eager／normal／patient）：対話に必要な時間に合わせて設定します
5. 発音辞書／キーワード：名前、ブランド名、外国語など、エージェントが誤って発音しがちな言葉に使用します。
6. 出力設定：従来のコンタクトセンターから移行する顧客は少しくぐもった音に慣れているため、クリアすぎるオーディオではなく、あえて背景に電話の着信音を加えるチームもあります
7. ボイスデザインまたはボイスクローン：既製の音声を選ぶのではなく、完全にカスタムでブランドに合った音声を作成します。ボイスデザインでは、たとえば「ヘッドセット越しに話しているように聞こえる30代男性」といった具体的な指定をプロンプトで行えます。ボイスクローンは、インスタントクローン（約30秒のオーディオ）からプロフェッショナルボイスクローン（より多くの素材を使用し、より高忠実度）まで対応しています。

自然に話すエージェントのベストプラクティス

トーンをシステムプロンプトに直接書き込みましょう。平板なエージェントと自然なエージェントを分ける違いの多くは、ここにあります。文の途中で言い直す（「実際の人の話し方」）こと、何かを調べる間に自然に言葉を濁すこと、重大な話の後はすぐに答えず沈黙を置くことを、エージェントに明示的に許可してください。

感情タグを状況に合わせましょう。深刻な場面やリスクのある場面で「excited」タグを使うのは不適切です。実際に会話の中で発生する箇所に意図的にタグを配置し、通話の進行に応じて呼び出し元の感情に合わせて調整してください（例：不安を抱える呼び出し元には落ち着いた安心感のあるトーン、急いでいる人には素早く温かみのあるトーン）。

積極性を意図的に設定しましょう。eagerはテンポがよく情報量の多い対話に、patientは書類や番号を探す時間が必要な場合に適しています。すべてをeagerにすると、自然というより押しつけがましく感じられることがあります。

ノードごとにLLMを選びましょう。単純なルーティングには軽量で高速なモデルを、実際の意思決定を行うノードにはより高性能なモデルを使用してください。

体感レイテンシーも「自然さ」の一部として扱いましょう。モデルの選択に加え、投機的ターン生成（呼び出し元がまだ話している間にモデルが応答の組み立てを始めること）やソフトタイムアウト時のつなぎ言葉により、実際の応答時間が変わらなくても、間が長く感じられるのを抑えられます。

翻訳ではなくローカライズを行いましょう。対象言語で実際にトレーニングされた音声を選び、発音辞書を使用してください。単一言語のユースケースでは、パフォーマンス向上のためにプロンプト自体をその言語で書くことも検討しましょう。表現の幅よりも言語をまたいだ高速なレイテンシーを重視する場合は、Multilingual v2が引き続き有力な選択肢です。

エージェントをモニタリングしましょう。シミュレーションテストで実際の通話なしにエージェントを検証し、通話後の合否スコアリングには評価基準を、会話のどの箇所でエージェントが不適切なトーンを使ったかを特定するにはターンごとの感情分析を活用します。そのシグナルを使ってプロンプトを調整してください。

セッション全編を見る

ウェビナー全編はこちら。