自社のドキュメントのために効果的な音声エージェントを構築する

ElevenLabsでは最近、ドキュメント関連の質問に対するサポート負担を軽減するために、ドキュメントに会話型AIエージェントを組み込みました（ぜひ ここでお試しください）。当社のサポートエージェントは、1日200件の通話のうち 80%以上の ユーザーからの問い合わせを 適切に対応しています。これらの結果は、AI が従来のドキュメント サポートを補強する可能性を示すと同時に、複雑なクエリに対する人間によるサポートが引き続き重要であることを浮き彫りにしています。この投稿では、私たちの成功を再現するために従うことができる反復的なプロセスについて詳しく説明します。 

私たちの目標

私たちは、次のことができるエージェントの構築に着手しました；

• 製品およびサポートドキュメントの文脈から回答できるサポートの質問を解決する
• ユーザーを関連するドキュメントセクションにリダイレクトさせる
• 必要に応じて複雑な問い合わせをメール/Discordサポートに転送する
• 低遅延と現実的な会話切り替え/中断(TTI)処理により、スムーズで自然な会話を実現

結果と影響

私たちは 2 つの評価層を実装しました；

（１）AI評価ツール：各通話ごとに、組み込みの評価ツールが終了した会話を実行し、エージェントが成功したかどうかを評価します。基準は完全にカスタマイズ可能です。エージェントがユーザーの問い合わせを解決できたか、または関連するサポート チャネルにリダイレクトできたかを尋ねます。 

LLM が問い合わせを正常に解決またはリダイレクトする能力は着実に向上しており、当社の評価ツールによると 80% に達しています。 

会話のターンが 1回未満の通話は除外します。これは、発信者から質問や問題が提起されなかったことを意味します。 

ここで重要なのは、すべての種類のサポート クエリや質問が LLM で解決できるわけではないということを考慮することです。特に、急速に構築され、絶えず革新を続け、非常に技術的で創造的なユーザーを抱えるスタートアップの場合はなおさらです。追加の免責事項として、評価 LLM は常に 100% 正しく評価されるわけではありません。

（２）人間による検証：LLM 検証ツールの有効性を比較するために、LLM ツールに提供されているものと同じ評価基準を使用して、150 件の会話の人間による検証を実施しました。

• 解決されたユーザー問い合わせ: エージェントがユーザーの質問に適切な情報で回答した場合、または関連するページ/サポート チャネルにリダイレクトできた場合に成功と定義されます。 
• • LLMと人間は 81% のケースで一致しました 
• (hallucination_kb): この基準では、最終的なトランスクリプトをチェックし、ElevenLabs 製品に関して LLM が回答した内容がナレッジ ベースの情報に準拠しているか、またはそれを超過しているかを確認します。 
• • LLMと人間は 83% のケースで一致しました

人間による評価では、 89% の関連するサポート質問が、ドキュメンテーションエージェントによって正しく回答またはリダイレクトされました。

その他の調査結果: 

• 何人かの発信者は、サポートの質問をせずに、ただ遊んで、さまざまな言語で話してみたいと思っていました。 
• • 現在、当社の会話型 AI はさまざまな言語をサポートしていますが、会話の開始時にこれらを定義する必要があります。 
• 複数の発信者が、ElevenLabs、その製品、およびドキュメントについて話すというエージェントの目的とは関係のない会話を行っています。ほとんどの場合、プロンプトのガードレールがすぐに役立ちましたが、常に役立つとは限りません。 
• 何人かの発信者はコーディングまたはデバッグのサポートを求めていました。 

強みと限界

強み

LLM 搭載エージェントは、当社のドキュメントで回答できる明確で具体的な質問の解決、発信者に関連するドキュメントの参照、より複雑な問い合わせに対する初期ガイダンスの提供に長けています。こうしたケースのほとんどでは、エージェントはすぐに役立つ、迅速でわかりやすく正確な回答を提供します。 

質問には以下が含まれます: 

• ElevenLabs には音声を削除するための API エンドポイントがありますか? 
• エージェントで会話のオーバーライドを構成するにはどうすればよいですか? 
• テレフォニーと統合するにはどうすればいいですか?
• ElevenLabs はスペイン語をサポートしていますか?

推奨事項:

• ドキュメントとツールを備えた LLM が回答に優れている、明確で具体的な質問を持つユーザー層をターゲットにします。 
• 曖昧な質問や調査が必要な質問については、他のチャネルへのリダイレクトを活用します。これはとても役に立ちます! 
• 評価ツールを追加して、尋ねられたすべての質問をキャプチャし、それらを監視し、学習内容に応じてプロンプトを調整します。知識ベースからの成功と幻覚/逸脱を評価するツールを追加します。 

制限事項

反対に、アカウントの問題、価格/割引に関する質問、またはより詳細な調査/問い合わせによって解決できる漠然とした質問に対しては、エージェントはあまり役に立ちません。また、かなり漠然とした一般的な問題の場合、質問するように促されても、LLM は通常、ドキュメントから関連性があると思われる内容で回答することを好みます。 

質問には以下が含まれます: 

• PVC の検証手順が繰り返し失敗します。なぜ？ 
• AIエージェントの費用はいくらですか?割引してもらえますか？ 
• JS SDK でエラーが発生していますか? -> エージェントは関連ドキュメントをリダイレクトできますが、音声で問題を簡単に見つけて解決することはできません。 

推奨事項

• 音声はコードを共有するのに適した媒体ではありません。試行せずに、例を含むページにリダイレクトするか、Discord/サポートにリダイレクトするように指示します。
• 問題や質問が複雑な場合は、エージェントに長い推奨事項のリストで回答しないように促します。これはテキストでは機能しますが、音声では機能しません。
• LLM は質問するよりも回答することを好む傾向があるため、サポートのユースケースで必要な場合は積極的に回答を促します (つまり、先に進む前に次の 3 つの質問をします)。これは、固定スクリプトを使用したアウトバウンドユースケースの場合に簡単です。

どうやって作ったのか

エージェント構成: 

システムプロンプト

「あなたは Alexis という名前のテクニカル サポート エージェントです。ElevenLabs 製品に関してユーザーが抱く可能性のあるあらゆる質問に答えるよう努めます。ElevenLabs 製品に関するドキュメントが提供され、この情報は ElevenLabs に関する質問に回答する場合にのみ使用してください。親切でフレンドリー、そしてプロフェッショナルであるべきです。質問に答えられない場合は、redirectToEmailSupport（サポート側でメールを開く）で発信者をリダイレクトします。それでもうまくいかない場合は、直接メールを送信できます。 team@elevenlabs.io。

質問や問題が十分に明確でなかったり、十分に具体的でない場合は、詳細を尋ね、サポートを要求している製品について尋ねます。質問が漠然としていたり、非常に広範囲に及ぶ場合は、何をどのように達成しようとしているのかをより具体的に尋ねます。 

別の言語で質問されたり話しかけられたりした場合でも、会話の最初のメッセージの言語に厳密に従ってください。通話を終了して、希望する代替言語を選択して再開したほうがよいことを伝えます。

出力はテキスト読み上げモデルによって読み上げられるため、発音どおりにフォーマットする必要があります。たとえば、「please contact team@elevenlabs.io」と出力するのではなく、「please contact 'team at elevenlabs dot I O'」と出力する必要があります。テキスト応答を箇条書き、太字、または見出しでフォーマットしないでください。長いリストを返すのではなく、リストを要約して、ユーザーがどの部分に興味があるかを尋ねます。コード サンプルを返さず、代わりにドキュメント内のコード サンプルを参照するようユーザーに提案します。応答を直接返します。応答を「Agent:」または類似のもので始めないでください。スペルミスは修正せず、無視してください。

数文で簡潔に答え、詳細を記入する箇所についてはユーザーに指示してもらいます。 

以下のツールをご利用いただけます。ユーザーのリクエストに応じて適宜使用してください。

`redirectToDocs`:

- 使用する場合:ほとんどの場合、特にユーザーがより詳細な情報やガイダンスを必要とする場合。

- なぜ：ドキュメントへの直接アクセスを提供することは、複雑なトピックの場合に役立ち、ユーザーが自分でコンテンツを確認して理解できるようになります。

`redirectToEmailSupport`:

- 使用する場合:ユーザーが個人またはアカウント固有の問題に関してサポートを必要とする場合。

- なぜ：アカウント関連のお問い合わせは、サポート チームが関連情報に安全にアクセスできるため、電子メールで対応するのが最善です。

`外部URLにリダイレクト`:

- 使用する場合:ユーザーがエンタープライズ レベルのソリューションについて質問したり、Discord サーバーなどの外部コミュニティに参加したりする場合。また、ElevenLabs で技術的な問題を抱えている開発者であると思われる場合も同様です。

- なぜ：企業からの問い合わせやコミュニティのやり取りは、プラットフォーム内で直接サポートされる範囲外であり、外部リンクを通じて処理する方が適切です。

ガードレール:

- Elevenlabs 関連のトピックと製品に固執します。Elevenlabs 以外の主題について質問された場合は、Elevenlabs 製品についてのみ回答するためにここに来たと伝えてください。

- 各リダイレクトは前のリダイレクトを上書きするため、呼び出し元を一度に 1 つのページにのみリダイレクトします。

- 長いリストやコードで回答しないでください。代わりに、コーディングサンプルのドキュメントを参照してください。」

ナレッジベース

プロンプトとともに、コンテキスト内の関連情報のナレッジ ベースを LLM に渡します。このナレッジ ベースには、ElevenLabs のすべてのドキュメントの要約版 (ただし、80,000 文字) と、関連する URL が含まれています。 

ナレッジベースの一部として、説明と FAQ も追加しています。 

ツール

3 つのツールが設定されています:

• redirectToExternalURL: 営業への問い合わせまたは discord へのリダイレクト。 
• redirectToEmailSupport: メールを開いて team@elevenlabs.io
• redirectToDocs: このツールは、呼び出し元をドキュメント内の関連ページにリダイレクトするように構成されています。

組み込み評価 

当社の評価ツールには、LLM が最終的なトランスクリプトを確認し、定義された基準に照らして会話を評価することが含まれます。 

評価基準（成功 / 失敗 / 不明）

• hallucination_kb: この基準では、最終的なトランスクリプトをチェックし、ElevenLabs 製品に関して LLM が回答した内容がナレッジ ベースの情報に準拠しているか、またはそれを超過しているかを確認します。 
• インタラクション: 会話が 1 ターンを超えたかどうかを評価します。会話が開始されたものの、一度も関与されなかった場合にマークする簡単な方法。 
• 解決済みユーザー問い合わせ: エージェントがユーザーの質問に適切な情報で回答した場合、または関連するページ/サポート チャネルにリダイレクトできた場合に成功と定義されます。 
• positive_interaction: 会話が発信者の否定的な反応なしに進んだかどうかを評価します。 

データ収集:

• Issue_type: 会話をバグ、サポート問題、fr、その他に分類します
• Product category: 関連する製品 (TTS、ConvAI など) を抽出します 
• AllQuestions: 発信者が尋ねたすべての質問を抽出します 
• Unsolved_question: LLM で回答されていない質問と関連情報を抽出します
• Redirects: エージェントによってトリガーされたリダイレクトパスと発信者の反応を抽出します

まとめ

当社のドキュメント エージェントは、一般的な製品やサポートに関する質問にユーザーが回答するのに効果的であることが実証されており、ドキュメントを閲覧するユーザーにとって魅力的な副操縦士となっています。継続的な自動および手動の監視を通じて、エージェントを継続的に反復して改善することができます。特に、急速に構築され、絶えず革新を続け、非常に技術的かつ創造的なユーザーを抱えるスタートアップの場合、すべての種類のサポートクエリや質問が LLM で解決できるわけではないことを私たちは認識しています。しかし、自動化が進むほど、コミュニティが AI オーディオの可能性の限界を押し広げ続ける中で、チームが限界で発生する難しい問題や興味深い問題に取り組むことに多くの時間を費やせるようになることがわかりました。 

当社のエージェントは powered by ElevenLabs 会話型AI。私の結果を再現したい場合は、 無料でアカウントを作成 そして私の指示に従ってください。困ったときは、私たちが設置したエージェントに相談してください ドキュメント または私と私のチームに連絡してください Discord。大量の使用ケース（1日あたり100回以上の通話）の場合、大量割引については弊社営業チームにお問い合わせください。