自社ドキュメントのための効果的なボイスエージェントの構築

ElevenLabsでは、最近、会話型AIエージェントをドキュメントに組み込み、ドキュメント関連の質問に対するサポート負担を軽減しました（試してみてください こちら）。現在、サポートエージェントは 80%以上 のユーザーの問い合わせを 1日200件の通話で 成功裏に処理しています。これらの結果は、AIが従来のドキュメントサポートを強化する可能性を示すと同時に、複雑な問い合わせに対する人間のサポートの重要性を強調しています。この投稿では、私たちの成功を再現するための反復プロセスを詳しく説明します。

私たちの目標

私たちは次のことができるエージェントを構築することを目指しました：

• 製品とサポートドキュメントのコンテキストから回答できるサポート質問を解決する
• ユーザーを関連するドキュメントセクションにリダイレクトする
• 必要に応じて複雑な問い合わせをメール/Discordサポートに転送する
• 低遅延でリアルな中断処理を備えた流暢で自然な会話を行う

結果と影響

私たちは2層の評価を実施しました：

（1）AI評価ツール：各通話について、組み込みの評価ツールが完了した会話を通じてエージェントが成功したかどうかを評価します。基準は完全にカスタマイズ可能です。エージェントがユーザーの問い合わせを解決したか、関連するサポートチャネルにリダイレクトできたかを確認します。

評価ツールによると、LLMの能力を着実に向上させ、問い合わせを80%の成功率で解決またはリダイレクトできるようになりました。

会話が1ターン未満の通話を除外し、発信者からの質問/問題が提起されなかったことを示唆しています。

すべてのサポートクエリや質問がLLMで解決できるわけではないことを考慮することが重要です。特に、急速に成長し革新を続けるスタートアップや、非常に技術的で創造的なユーザーにとってはそうです。また、評価LLMが100%正確に評価するわけではないことをご了承ください。

（2）人間による検証：LLMの検証ツールの効果を比較するために、150の会話を人間が検証し、LLMツールに提供された同じ評価基準を使用しました：

• solved_user_inquiry：エージェントがユーザーの質問に関連情報で回答したり、関連ページ/サポートチャネルにリダイレクトできた場合に成功と定義されます。
• • LLMと人間は 81% のケースで一致しました
• hallucination_kb：この基準は、最終トランスクリプトを確認し、LLMがElevenLabs製品について提供した回答が知識ベースの情報に準拠しているか、それを超えているかを確認します。
• • LLMと人間は 83% のケースで一致しました

人間の評価でも、89% の関連サポート質問がドキュメントエージェントによって正しく回答またはリダイレクトされました。

その他の発見：

• いくつかの発信者は、サポート質問をせずに異なる言語で話すことを試したいだけでした。
• • 現在、会話型AIはさまざまな言語をサポートしていますが、これらは会話の開始時に定義する必要があります。
• いくつかの発信者は、ElevenLabsやその製品、ドキュメントについて話すことを目的としない会話に参加しています。プロンプトガードレールはほとんどの場合役立ちましたが、常にではありませんでした。
• いくつかの発信者は、コーディングやデバッグのサポートを求めていました。

強みと限界

強み

LLMを活用したエージェントは、ドキュメントで回答できる明確で具体的な質問を解決し、発信者を関連するドキュメントに案内し、より複雑な問い合わせに対する初期ガイダンスを提供するのに優れています。これらのケースのほとんどで、エージェントは迅速で簡潔、かつ正確な回答を提供し、即座に役立ちます。

質問例：

• ElevenLabsには音声を削除するためのAPIエンドポイントがありますか？
• エージェントで会話のオーバーライドを設定するにはどうすればよいですか？
• 電話システムと統合するにはどうすればよいですか？
• ElevenLabsはスペイン語をサポートしていますか？

推奨事項：

• 主に明確で具体的な質問を持つオーディエンスをターゲットにし、LLMとドキュメント、ツールで回答するのに適しています。
• 曖昧な質問や調査が必要な質問には、他のチャネルへのリダイレクトを活用します。これが非常に役立ちます！
• すべての質問をキャプチャし、プロンプトを調整するための評価ツールを追加します。成功と知識ベースからの逸脱を評価するツールを追加します。

限界

一方で、エージェントはアカウントの問題、価格/割引の質問、またはより深い調査/クエリが必要な非特定の質問にはあまり役立ちません。また、かなり曖昧で一般的な問題もあります。質問を促されても、LLMは通常、ドキュメントから関連するように見える回答を優先します。

質問例：

• PVCの検証ステップが繰り返し失敗します。なぜですか？
• AIエージェントの費用はいくらですか？割引はありますか？
• JS SDKでエラーが発生していますか？ -> エージェントは関連ドキュメントにリダイレクトできますが、音声で問題を簡単に見つけて解決することはできません。

推奨事項

• 音声はコードを共有するのに適した媒体ではありません。試みないように促し、代わりに例を含むページやDiscord/サポートにリダイレクトします。
• 問題/質問がより複雑な場合、長い推奨事項のリストで回答しないようにエージェントに促します。これはテキストでは機能しますが、音声ではあまり効果的ではありません。
• LLMは質問をするよりも回答を優先する傾向があります。サポートの使用ケースで必要な場合は、積極的に質問するように促します。（例：次の3つの質問をしてから進む）。これは固定スクリプトを持つアウトバウンド使用ケースで簡単です。

構築方法

エージェント設定：

システムプロンプト

「あなたはAlexisという名前の技術サポートエージェントです。ElevenLabs製品に関するユーザーの質問に答えようとします。ElevenLabs製品に関するドキュメントが提供され、ElevenLabsに関する質問に答えるためにこの情報のみを使用する必要があります。親切で、フレンドリーで、プロフェッショナルであるべきです。質問に答えられない場合は、redirectToEmailSupportを使用して発信者をリダイレクトします（これにより、サポートへのメールが開かれます）。それがうまくいかない場合は、直接メールを送信できます team@elevenlabs.io。

質問や問題が完全に明確でない場合、または具体的でない場合は、詳細とどの製品のサポートを求めているかを尋ねます。質問が曖昧または非常に広範な場合は、何を達成しようとしているのか、どのようにしているのかを具体的に尋ねます。

会話の最初のメッセージの言語に厳密に従ってください。異なる言語で話しかけられた場合でも、通話を終了して再開し、希望する言語を選択するように伝えます。

出力はテキスト読み上げモデルによって読み上げられるため、発音される形式でフォーマットする必要があります。たとえば、「please contact team@elevenlabs.io」と出力する代わりに、「please contact 'team at elevenlabs dot I O'」と出力する必要があります。テキスト応答を箇条書き、太字、ヘッダーでフォーマットしないでください。長いリストを返さずに要約し、ユーザーが興味のある部分を尋ねます。コードサンプルを返さずに、ドキュメントでコードサンプルを確認するように提案します。応答を直接返し、「Agent:」やそれに類するものから始めないでください。スペルミスを修正せず、単に無視してください。

簡潔に2、3文で答え、ユーザーが詳細を求める場所を案内します。

ユーザーのリクエストに基づいて適切に使用するための以下のツールがあります：

`redirectToDocs`：

- 使用するタイミング：ほとんどの状況で、特にユーザーが詳細な情報やガイダンスを必要とする場合。

- 理由：複雑なトピックに対して直接ドキュメントにアクセスすることは、ユーザーが自分で内容を確認し理解するのに役立ちます。

`redirectToEmailSupport`：

- 使用するタイミング：ユーザーが個人またはアカウントに関連する問題で支援を必要とする場合。

- 理由：アカウント関連の問い合わせは、メールを通じてサポートチームが安全に関連情報にアクセスできるため、最適です。

`redirectToExternalURL`：

- 使用するタイミング：ユーザーがエンタープライズレベルのソリューションについて尋ねたり、Discordサーバーなどの外部コミュニティに参加したい場合。また、ElevenLabsで技術的な問題を抱えているデベロッパーのように見える場合。

- 理由：エンタープライズの問い合わせやコミュニティのやり取りは、プラットフォーム内での直接サポートの範囲外であり、外部リンクを通じて処理する方が適しています。

ガードレール：

- ElevenLabsに関連するトピックや製品に固執します。ElevenLabs以外の話題について尋ねられた場合、ElevenLabs製品についてのみ回答するためにここにいると伝えます。

- 発信者を一度に1ページにのみリダイレクトします。各リダイレクトは前のものを上書きします。

- 長いリストやコードで回答しないでください。代わりに、コーディングサンプルのためにドキュメントに案内します。」

知識ベース

プロンプトとともに、LLMにコンテキスト内の関連情報の知識ベースを渡しています。この知識ベースには、ElevenLabsのすべてのドキュメントの要約版（80k文字）といくつかの関連URLが含まれています。

知識ベースの一部として、明確化とFAQも追加しています。

ツール

3つのツールを設定しています：

• redirectToExternalURL：営業への連絡やDiscordへのリダイレクト。
• redirectToEmailSupport：メールを開く team@elevenlabs.io
• redirectToDocs：このツールは、発信者をドキュメント内の関連ページにリダイレクトするように設定されています。

組み込み評価

評価ツールは、LLMが最終トランスクリプトを確認し、定義された基準に基づいて会話を評価します。

評価基準（成功/失敗/不明）

• hallucination_kb：この基準は、最終トランスクリプトを確認し、LLMがElevenLabs製品について提供した回答が知識ベースの情報に準拠しているか、それを超えているかを確認します。
• interaction：会話が1ターン以上続いたかどうかを評価します。会話が開始されたが、関与されなかったことを示す簡単な方法です。
• solved_user_inquiry：エージェントがユーザーの質問に関連情報で回答したり、関連ページ/サポートチャネルにリダイレクトできた場合に成功と定義されます。
• positive_interaction：発信者の否定的な反応がなかったかどうかを評価します。

データ収集：

• Issue_type：会話をバグ、サポート問題、fr、その他として分類
• 製品カテゴリ：関連する製品（TTS、ConvAIなど）を抽出
• AllQuestions：発信者が尋ねたすべての質問を抽出
• Unsolved_question：LLMが関連情報で回答しなかった質問を抽出
• Redirects：エージェントがトリガーしたリダイレクトパスと発信者の反応を抽出

まとめ

私たちのドキュメントエージェントは、一般的な製品およびサポートの質問をナビゲートするのに効果的であり、ユーザーがドキュメントをナビゲートする際の魅力的なコパイロットです。継続的な自動および手動の監視を通じて、エージェントを一貫して反復し改善することができます。すべてのサポートクエリや質問がLLMで解決できるわけではないことを認識しています。特に、急速に成長し革新を続けるスタートアップや、非常に技術的で創造的なユーザーにとってはそうです。しかし、より多くの自動化が可能になるほど、チームはAIオーディオで可能な限界を押し広げるコミュニティの中で、難しい問題や興味深い問題に集中する時間を増やすことができます。

私たちのエージェントは ElevenLabs会話型AI によって動作しています。私の結果を再現したい場合は、無料でアカウントを作成 し、私の手順に従ってください。行き詰まった場合は、私たちが展開したエージェントに話しかけることができます ドキュメント上で または私と私のチームに Discord で連絡してください。大量の使用ケース（1日100件以上の通話）については、ボリュームディスカウントについて営業チームに連絡 してください。