ウェビナーまとめ：自然に聞こえるAIエージェントの構築

多くのチームが、自然に聞こえるエージェントを作りたいと考えています。

多くのチームが直面する課題は、タスクは完了できても、文脈や緊急性、感情を理解できないエージェントです。発信者がそれに気づくと、信頼も対話の質も低下します。

先日開催したライブワークショップ：自然に聞こえるAIエージェントの構築では、Luigi Sambuy（Forward Deployed Engineering）が、ロボットのように聞こえるエージェントと、本当に人間らしく感じられるエージェントを分けるポイントを解説しました。

自然に聞こえることが見た目以上に難しい理由

エージェントを導入しているチームの多くは、すでに正確性を解決しています。エージェントは正しい回答をし、適切なテーブルを予約し、正しいフライトをキャンセルできます。 

より難しいのは、伝え方を適切にすることです。

発信者の感情に寄り添えず、緊急性を察知できず、どの質問にも同じ平坦なリズムで答えるエージェントは、回答がどれほど正確でも人工的に感じられます。顧客が求めているのは、問題の解決だけではありません。解決までの過程で、きちんと話を聞いてもらえたと感じることも求めています。

自然に聞こえるエージェントの4つの特徴

1. リズムと流れ：単調な読み上げではなく、自然なテンポ、間、話速の変化
2. ミラーリング：不満を抱く発信者には気遣いを示し、良い知らせには温かく応じること
3. コンテキスト：ユーザー履歴、業務システム、文化・地域の要素を取り込み、画一的でない回答にすること
4. アイデンティティ：既製のデフォルト音声ではなく、ブランドのために作られた音声

デモ：自然に聞こえるエージェントの実例

シナリオ： 顧客がRosette Restaurantに電話し、予約時間の変更を依頼します。結婚5周年の記念日ですが、到着が遅れています。

デモで示したこと：

• エージェントは、まず結婚記念日であることに触れ、温かく会話を始めました
• 伝えられた予約時間と実際の予約内容に小さな食い違いを見つけ、推測せずに確認しました
• 予約を午後9時に変更し、頼まれる前に記念日のための窓側席を提案しました
• 通話を通じて、自然な間やつなぎ言葉を使い、安心感があり、温かく、急かさないように、その場に合わせてトーンを調整しました

重要な理由： これらはすべて、別のモデルやより高性能なプラットフォームによるものではありません。プロンプトによるものです。システムプロンプトによって、エージェントは文の途中で言い直したり、「調べています」と言いながら自然に言葉を濁したり、発信者に合わせて感情的なトーンを変えたりできます。これらは、現在プラットフォーム上で構築するあらゆるチームが利用できる手法です。

自然なエージェントを構築する7つのポイント

1. 感情タグ：v3会話モデルの表現力モードで利用可能。トーンに変化をつける最大の鍵です
2. バックグラウンドノイズ：オフィスの環境音、街の音、タイピング音により、より親しみやすく人間らしい文脈を作れます
3. システムプロンプト内のトーン：実際には、違いの大部分を生む要素です
4. 積極性の設定（eager／normal／patient）：対話に必要な時間に合わせて設定します
5. 発音辞書／キーワード：エージェントが誤読しがちな人名、ブランド名、外国語に対応します。 
6. 出力設定：従来のコンタクトセンターから移行する顧客は少しこもった音に慣れているため、完全にクリアな音声ではなく、あえてバックグラウンドに電話の呼び出し音を加えるチームもあります
7. ボイスデザインまたはクローン：既製の音声を選ぶのではなく、完全にカスタムでブランドに合う音声を作成します。ボイスデザインでは、たとえば「ヘッドセット越しに話しているように聞こえる30代男性」のような具体的な指示をプロンプトに記述できます。 ボイスクローンは、約30秒のオーディオから作るインスタントクローンから、より多くの素材を使った高忠実度のプロフェッショナルボイスクローンまで対応しています。 

自然に聞こえるエージェントのベストプラクティス

トーンをシステムプロンプトに直接記述します。 平坦なエージェントと自然なエージェントの差の大部分は、ここで生まれます。文の途中で言い直すこと（「人が実際に話すように」）、調べものをしながら自然に言葉を濁すこと、重大な内容の後は少し沈黙を置いてから応答することを、エージェントに明確に許可してください。

感情タグを状況に合わせます。 深刻な場面やリスクのある場面に「excited」タグは不適切です。会話のどこでタグが実際に使われるかを考えて意図的に配置し、通話が進むにつれて発信者の感情に合わせて調整してください（例：不安な発信者には落ち着いた安心感のあるトーン、急いでいる人には素早く温かいトーン）。

積極性を意図的に設定します。eagerは、テンポが速く情報量の多い対話に適しています。patientは、書類や番号を探す時間が必要な場合に適しています。すべてをeagerにすると、自然というより押しつけがましく感じられる場合があります。

ノードごとにLLMを選びます。 単純なルーティングには軽量で高速なモデルを使い、実際の意思決定を行うノードにはより高性能なモデルを使いましょう。 

体感レイテンシーも「自然さ」の一部として扱います。 モデルの選択に加え、発信者がまだ話している間にモデルが応答を作り始める投機的ターン生成や、ソフトタイムアウト時のつなぎ言葉によって、実際の応答時間が変わらなくても、待ち時間を短く感じさせられます。

翻訳ではなくローカライズします。 対象言語で実際に学習された音声を選び、発音辞書を使い、単一言語のユースケースではパフォーマンス向上のためにプロンプト自体もその言語で書くことを検討してください。表現の幅よりも言語間での素早いレイテンシーが重要な場合、Multilingual v2は引き続き有力な選択肢です。

エージェントをモニタリングします。 シミュレーションテストで実際の通話なしにエージェントを検証し、通話後の合否スコアリングには評価基準を使い、ターンごとの感情分析でエージェントが誤ったトーンを使った箇所を正確に特定します。そのシグナルを活用してプロンプトを調整してください。

フルセッションを見る

ウェビナー全編はこちら。