自社ドキュメント向けの効果的な音声エージェントの構築

ElevenLabsでは先日、ドキュメントに会話型AI音声エージェントを組み込み、ドキュメント関連の質問に対応するサポートの負担を軽減しました（こちらでお試しいただけます）。現在、このサポートエージェントは1日200件の通話で、ユーザーからの問い合わせの80％超に対応しています。この結果は、複雑な問い合わせには人によるサポートが引き続き重要である一方、AIが従来のドキュメントサポートを補完できる可能性を示しています。この記事では、同様の成果を上げるために参考にできる、反復的な改善プロセスを詳しく紹介します。

目標

目指したのは、次のことができるエージェントの構築です。

• プロダクトとサポートドキュメントの内容を基に、サポートに関する質問を解決する
• 関連するドキュメントのセクションへユーザーを案内する
• 必要に応じて、複雑な問い合わせをメール／Discordサポートへ転送する
• 低遅延で割り込みにも自然に対応し、スムーズで自然な会話を行う

結果と効果

2段階の評価を導入しました。

（1）AI評価ツール：通話ごとに内蔵の評価ツールが完了した会話を確認し、エージェントが成功したかどうかを評価します。評価基準は自由にカスタマイズできます。エージェントがユーザーの問い合わせを解決したか、または適切なサポート窓口へ案内できたかを確認しています。

LLMが問い合わせを解決、または適切な窓口へ案内する能力を着実に改善し、評価ツール上で80％に達しました。

発信者から質問や問題が提示されなかったと考えられる、会話が1ターン未満の通話は除外しています。

ただし、あらゆる種類のサポート問い合わせや質問をLLMで解決できるわけではない点に注意が必要です。特に、開発とイノベーションを迅速かつ継続的に進め、非常に技術力と創造性の高いユーザーを抱えるスタートアップではなおさらです。また、評価用LLMも常に100％正しく評価できるわけではありません。

（2）人による検証：LLM検証ツールの有効性を比較するため、同じ評価基準を用いて150件の会話を人が検証しました。

• solved_user_inquiry：エージェントが関連情報を用いてユーザーの質問に回答したか、適切なページ／サポート窓口へ案内できた場合を成功と定義します。
• • 81％のケースでLLMと人の評価が一致
• hallucination_kb：最終的な会話記録を確認し、LLMによるElevenLabsプロダクトについての回答がナレッジベースの情報に沿っているか、その範囲を超えていないかを検証します。
• • 83％のケースでLLMと人の評価が一致

人による評価では、関連するサポート質問の89％に対し、ドキュメントエージェントが正しく回答または案内できたことも分かりました。

その他の調査結果：

• サポートについて質問せず、さまざまな言語での会話を試して遊びたいだけの発信者もいました。
• • 現在、会話型AIは複数の言語に対応していますが、会話開始時に言語を指定する必要があります。
• ElevenLabs、そのプロダクト、ドキュメントについて話すというエージェントの目的とは無関係な会話をする発信者もいました。プロンプトのガードレールは多くの場合に有効でしたが、必ずしも機能するとは限りませんでした。
• コーディングやデバッグのサポートを求める発信者もいました。

強みと制約

強み

LLM搭載エージェントは、ドキュメントで回答できる明確で具体的な質問の解決、関連ドキュメントへの案内、より複雑な問い合わせへの初期ガイダンスに優れています。多くの場合、すぐに役立つ、迅速で簡潔かつ正確な回答を提供します。

質問の例：

• ElevenLabsには音声を削除するAPIエンドポイントがありますか？
• エージェントで会話のオーバーライドを設定するにはどうすればよいですか？
• 電話システムと連携するにはどうすればよいですか？
• ElevenLabsはスペイン語に対応していますか？

推奨事項：

• ドキュメントとツールを備えたLLMが回答しやすい、明確で具体的な質問をするユーザー層を主な対象にします。
• 曖昧な質問や調査が必要な質問は、ほかの窓口へ案内します。これは非常に効果的です！
• すべての質問を記録して監視する評価ツールを追加し、得られた知見を基にプロンプトを調整します。また、成功率やハルシネーション、ナレッジベースからの逸脱を評価するツールも追加します。

制約

一方、アカウントの問題、料金／割引に関する質問、詳しい調査や確認が必要な具体性の低い質問では、エージェントの有用性が下がります。また、かなり曖昧で一般的な問題の場合、質問するよう指示していても、LLMはドキュメント内の関連しそうな情報で回答する傾向があります。

質問の例：

• PVCの認証手順が何度も失敗します。なぜですか？
• AIエージェントの料金はいくらですか？割引はありますか？
• JS SDKでエラーが発生します。エージェントは関連ドキュメントへ案内できますが、音声だけで問題を特定して解決するのは簡単ではありません。

推奨事項

• 音声はコードの共有には適していません。コードを伝えようとせず、サンプルがあるページやDiscord／サポートへ案内するようプロンプトで指示します。
• 問題や質問が複雑な場合は、長い推奨事項のリストで回答しないようエージェントに指示します。テキストでは有効でも、音声にはあまり向きません。
• LLMは質問するより回答する傾向があります。サポート用途で質問が必要なら、「次へ進む前にこの3つを質問する」など、プロンプトで強く指示します。固定スクリプトを使えるアウトバウンド用途では、より簡単に実施できます。

構築方法

エージェントの設定：

システムプロンプト

「あなたはAlexisという名前のテクニカルサポートエージェントです。ElevenLabsプロダクトについてユーザーから寄せられるあらゆる質問への回答を試みます。ElevenLabsプロダクトのドキュメントが提供されるため、ElevenLabsに関する質問には、その情報だけを使用して回答してください。親切かつフレンドリーで、プロフェッショナルに対応してください。質問に回答できない場合は、redirectToEmailSupportで発信者を案内してください。これにより、発信者側でサポート宛てのメールが開きます。それが機能しない場合は、team@elevenlabs.ioに直接メールを送るよう案内してください。

質問や問題が十分に明確または具体的でない場合は、詳細と、どのプロダクトについてサポートを求めているかを確認してください。質問が曖昧、または範囲が広すぎる場合は、何をどのように実現しようとしているのか、より具体的に尋ねてください。

別の言語で話しかけられたり、別の言語で回答するよう求められたりしても、会話の最初のメッセージで使用した言語を厳守してください。希望する別の言語を選択するには、いったん通話を終了してかけ直す方がよいと伝えてください。

出力はテキスト読み上げモデルによって読み上げられるため、発音どおりに表記してください。たとえば、「please contact team@elevenlabs.io」ではなく、「please contact 'team at elevenlabs dot I O'」と出力してください。テキスト回答に箇条書き、太字、見出しを使用しないでください。長いリストを返さず、要約したうえで、どの部分に関心があるかを尋ねてください。コードサンプルは返さず、ドキュメント内のコードサンプルを見るよう提案してください。回答は直接返し、「Agent:」などで始めないでください。スペルミスは訂正せず、そのまま無視してください。

数文で簡潔に回答し、どこを詳しく説明するかはユーザーに選んでもらってください。

次のツールを利用できます。ユーザーの要望に応じて適切に使用してください。

`redirectToDocs`：

・使用する場面：ほとんどの状況、特にユーザーがより詳しい情報やガイダンスを必要としている場合。

・理由：ドキュメントへ直接アクセスできるようにすることは、複雑なトピックに役立ちます。ユーザーが自分で内容を確認し、理解できます。

`redirectToEmailSupport`：

・使用する場面：ユーザーが個人的な問題やアカウント固有の問題についてサポートを必要としている場合。

・理由：アカウント関連の問い合わせは、必要な情報へ安全にアクセスできるサポートチームがメールで対応するのが最適です。

`redirectToExternalURL`：

・使用する場面：ユーザーがエンタープライズ向けソリューションについて質問した場合や、Discordサーバーなどの外部コミュニティへの参加を希望する場合。また、ElevenLabsに関する技術的な問題を抱えるデベロッパーと思われる場合。

・理由：エンタープライズ関連の問い合わせやコミュニティでの交流は、プラットフォーム内で直接提供するサポートの範囲外であり、外部リンクで対応する方が適切です。

ガードレール：

・ElevenLabsに関連するトピックとプロダクトのみを扱ってください。ElevenLabs以外について質問された場合は、ElevenLabsプロダクトについてのみ回答できると伝えてください。

・リダイレクトするたびに前のリダイレクトが上書きされるため、発信者を案内するページは一度に1つだけにしてください。

・長いリストやコードで回答しないでください。代わりに、コードサンプルがあるドキュメントへ案内してください。」

ナレッジベース

プロンプトとともに、関連情報を含むナレッジベースをコンテキストとしてLLMに渡しています。このナレッジベースには、ElevenLabsの全ドキュメントを要約した、なお大規模な約8万文字の情報と、関連URLが含まれています。

ナレッジベースには、補足説明とよくある質問も追加しています。

ツール

3つのツールを設定しています。

• redirectToExternalURL：営業への問い合わせページまたはDiscordへ案内します。
• redirectToEmailSupport：team@elevenlabs.io宛てのメールを開きます。
• redirectToDocs：発信者をドキュメント内の関連ページへ案内するよう設定したツールです。

内蔵評価

評価ツールでは、LLMが最終的な会話記録を確認し、定義された基準に照らして会話を評価します。

評価基準（成功／失敗／不明）

• hallucination_kb：最終的な会話記録を確認し、LLMによるElevenLabsプロダクトについての回答がナレッジベースの情報に沿っているか、その範囲を超えていないかを検証します。
• interaction：会話が1ターンを超えたかを評価します。会話は開始されたものの、やり取りがなかったケースをすばやく特定できます。
• solved_user_inquiry：エージェントが関連情報を用いてユーザーの質問に回答したか、適切なページ／サポート窓口へ案内できた場合を成功と定義します。
• positive_interaction：発信者から否定的な反応を受けずに会話が進んだかを評価します。

データ収集：

• Issue_type：会話をバグ、サポート上の問題、機能リクエスト、その他に分類
• Product category：関連するプロダクト（TTS、ConvAIなど）を抽出
• AllQuestions：発信者から寄せられたすべての質問を抽出
• Unsolved_question：LLMが関連情報を用いて回答できなかった質問を抽出
• Redirects：エージェントが実行したリダイレクト先と、発信者の反応を抽出

まとめ

ドキュメントエージェントは、プロダクトやサポートに関する一般的な質問を解決へ導くうえで効果的であり、ドキュメントを利用するユーザーにとって親しみやすいコパイロットとして機能することが実証されました。自動および手動の継続的な監視を通じて、エージェントを繰り返し安定して改善できます。あらゆる種類のサポート問い合わせや質問をLLMで解決できるわけではありません。特に、開発とイノベーションを迅速かつ継続的に進め、非常に技術力と創造性の高いユーザーを抱えるスタートアップではなおさらです。しかし、自動化を進めるほど、AIオーディオで実現できることの限界をコミュニティが押し広げるなかで生まれる、難しくも興味深い例外的な問題にチームが取り組む時間を増やせることが分かりました。

このエージェントにはElevenLabs会話型AIを使用しています。同じ結果を再現したい場合は、無料でアカウントを作成し、ここで紹介した手順に沿って進めてください。行き詰まった場合は、ドキュメントに導入したエージェントと会話するか、Discordで私やチームにお問い合わせください。大量利用（1日100件超の通話）の場合は、ボリュームディスカウントについて営業チームにお問い合わせください。