AI音声エージェントとは？その仕組みを解説

企業はこれまで以上に多くの顧客対応を担っています。対応言語は増え、営業時間外にも電話が入り、多くのチームだけでは対応しきれないペースになっています。

AI音声エージェント は、定型的な質問への回答、よくあるタスクの処理、必要に応じた複雑なケースの担当者への引き継ぎにより、こうした課題の解決を支援します。

この記事では、AI音声エージェントとは何か、その仕組み、特に役立つ場面、そして ElevenAgents を使った導入方法を解説します。

概要

• AI音声エージェントなら、電話でもブラウザ上でも、顧客はプッシュボタン式メニューをたどる代わりに自然に話せます。
• AI音声エージェントはすでに大規模な顧客対応を担っており、Revolut はチケット解決時間を8分の1に短縮し、Zingage はHIPAA準拠を維持しながら、90％超の電話に対応しています。
• 主なユースケースには、カスタマーサポート、予約管理、リードの選別、支払いリマインダー、社内ヘルプデスクのワークフローがあります。
• ElevenAgentsのようなプラットフォームなら、基盤インフラをゼロから構築せずに音声エージェントを導入でき、最初の音声が返るまでの時間は通常1秒未満です。

AI音声エージェントとは？

AI音声エージェントとは、人工知能を使って自然な発話を理解し、適切に応答するシステムです。メニュー操作よりも、人と話す感覚に近い会話を実現します。

音声エージェントは、電話やWebで企業とやり取りするあらゆる場面で特に役立ちます。たとえば、次のような用途があります。

• カスタマーサポート：請求に関する質問への回答、注文状況の案内、アカウント情報へのアクセス支援を行えます。 
• 予約ワークフロー：予約の作成、変更、キャンセルを行えます。 
• 営業：リードを選別し、適切な担当者へ振り分けられます。 
• オペレーション：アウトバウンドキャンペーン、支払いリマインダー、本人確認電話を大規模に処理できます。

重要なのは、エージェントは単に「話す」だけではないことです。聞き、推論し、行動します。これが、音声AIを従来の自動化ツールや多くのチャットボットと分ける点です。 

AI音声エージェントはIVRやチャットボットと何が違う？

自動音声応答（IVR）システムは、発信者をあらかじめ決められたメニューへ誘導します。しかし、これは人が自然に会話する方法ではほとんどありません。AIチャットボットはテキストを適切に扱えますが、顧客が入力して読める場面でしか機能しません。

AI音声エージェントは、自然な会話、音声、アクションの実行を組み合わせます。話すことが最も自然なやり取りの場面に適しています。

AI音声エージェントのメリットは？

音声エージェントは顧客との会話を改善し、企業がより多くの対応を効率的に処理できるようにします。会話の質が上がれば、顧客体験の向上、迅速な解決、オペレーションの強化につながります。

自然なプロソディとトーン

高品質な音声合成は、通話中を通して自然なリズム、強調、会話の流れを維持します。やり取りが機械的ではなく自然に聞こえる と、顧客は会話に関わり続けやすくなり、信頼が高まり、ストレスも軽減されます。

割り込みと自然なターンテイキング

実際の会話には、割り込み、間、話題の変更があります。バージインとターンテイキングに対応する音声エージェントなら、会話の流れを妨げずにこうした変化へ対応し、発信者がより早く答えにたどり着けます。

ネイティブアクセントの多言語対応

顧客が希望する言語 でやり取りし、自然な発音とリズムで応答を聞けると、コミュニケーションはより明確で利用しやすくなります。言語ごとに個別のワークフローを作成せず、多様な利用者を支援できます。

大規模でも24時間365日対応

音声エージェントは営業時間外の電話に応答し、需要の急増を処理し、アウトバウンドキャンペーン も支援します。顧客は必要なときにサポートを受けられ、企業は機会損失や人員不足のコストを抑えられます。

人への引き継ぎでもコンテキストを完全に保持

会話をエスカレーションする必要がある場合、次の担当者には文字起こし、検出された意図、エージェントが収集済みの情報が渡されます。繰り返しを減らし、顧客に最初から説明し直してもらうことなく、人間の担当者が会話を続けられます。

初回問い合わせでの解決率向上

音声エージェントは、よくある質問に答え、定型タスクをすぐに完了します。顧客は最初のやり取りで必要なものを得られます。再問い合わせが減ることで、顧客満足度と業務効率の両方が向上します。

AI音声エージェントと人間の担当者は、いつ使い分けるべき？

実用的な原則は、大量で反復的かつ構造化されたタスクにはAIを使い、判断、共感、交渉、例外処理が必要な状況は人間に任せることです。 

最も効果的なのは、人間とAI音声エージェントを組み合わせる方法です。たとえばコンタクトセンターでは、カスタマーサービス向けAI音声エージェント を注文追跡、パスワードリセット、予約リマインダーに使い、請求に関する異議申し立てや感情的に配慮が必要な通話は直接担当者につなげられます。 

AIは待ち時間を短縮し、定型電話に一貫した回答を提供します。一方、人間は最も重要な場面で判断力と共感を発揮します。

AI音声エージェントの仕組みは？

AI音声エージェントに話しかけると、複数のシステムがミリ秒単位で連携し、リクエストの理解、応答の生成、自然な会話の継続を行います。ElevenAgentsでは、Flashモデルが約75msのモデル推論レイテンシー を実現し、パイプライン全体で最初の音声が返るまでの時間は通常1秒未満です。

ElevenAgentsがこのパイプラインをどのように管理しているか詳しくは、ElevenAgentsのオーケストレーションエンジンを解説 をご覧ください。

1. 発信者が話し、音声を文字起こしする

やり取りは発信者の発話から始まります。エージェントはスピーチtoテキスト（STT）モデルを使って発信者の音声をリアルタイムでテキストに変換し、すぐにリクエストの処理を開始します。

ElevenAgentsでは、この処理を Scribe（ElevenLabsの音声認識モデル）が担います。Scribe v2 Realtimeのレイテンシーは約150msで、発信者にはほぼ瞬時に文字起こしされているように感じられます。

2. エージェントがリクエストを解釈し、アクションを実行する

音声が文字起こしされると、大規模言語モデル（LLM）が、応答に必要なすべてのコンテキストとともにリクエストを処理します。エージェントは次の情報を含むコンテキストを1つのリクエストにまとめます。

• 会話履歴：これまで何が話されたかを把握するため。
• 次の方法で取得する関連ビジネス知識：検索拡張生成（RAG）。自社のプロダクト情報、ポリシー、手順、料金、サポートコンテンツに基づいて回答します。
• 会話の前段階で得られたツール出力や動的変数。
• エージェントの役割、トーン、ルールを定義する システムプロンプト。

このコンテキストをもとに、エージェントは応答方法を判断します。取得した知識から直接回答できる場合は回答します。アクションが必要な場合は、統合ツール を通じて実行し、その結果を使って返答を作成します。一般的なアクションには次があります。

• 顧客情報の照会。
• 予約の設定。
• 記録の更新。
• 確認通知の送信。
• 会話のルーティング。

ElevenAgentsは、 ElevenLabsホストLLM のほか、Anthropic、OpenAI、Googleの主要モデルにも対応しています。

3. 応答を音声に戻す

応答の生成後、Eleven V3（ElevenLabsのテキスト読み上げモデル）がテキストを自然な音声に変換し、リアルタイムで発信者へストリーミングします。これにより、従来の自動電話システムのような音ではなく、自然なペース、強調、会話の流れで応答できます。

4. ターンテイキングが自然な会話を保つ

専用のターンテイキングモデルが、割り込み、間、無音検出、会話のタイミングを管理します。そのため、従来の音声システムにありがちな硬直した体験を生まずに、発信者は自然に割り込んだり、考えるために間を置いたり、会話の途中で話題を変えたりできます。

5. 留守番電話検出でアウトバウンド通話を適切に処理

アウトバウンドワークフローでは、システムが相手が本人か留守番電話かを判断します。メールボックスに会話フロー全体を流す代わりに、エージェントは適切なメッセージを残し、結果を正確に記録して、次の電話へ自動的に進みます。

AI音声エージェントはどこで最もよく使われる？

AI音声エージェントは、通話が頻繁、反復的、または時間制約のある業界で最も効果を発揮します。エスカレーションなしで対応できる明確なワークフローやよくある質問に最適です。組み込みのコンプライアンス認証と監査ログにより導入前の業界基準への準拠が容易になるため、規制の厳しい環境にも適しています。

AI音声エージェントを導入するには？

AI音声エージェントを成功させるには、適切なモデルを選ぶだけでは不十分です。ユースケースを定義し、明確な成功基準を設定し、エージェントの動作を構成して、顧客と話す前に実環境に近い条件でテストする必要があります。

詳しい手順は、1時間以内にビジネス向けAIエージェントを作成する方法 をご覧ください。

ステップ1：ユースケースと成功基準を定義する

すべての顧客対応を一度に自動化しようとせず、まずは1つか2つの具体的なワークフローから始めましょう。

例：

• 予約管理。
• 注文状況の問い合わせ。
• 請求に関する問い合わせ。
• リードの選別。
• 社内ITサポート。

実装前に、ワークフローごとの成功指標を定義します。ユースケースに応じて、解決率、完結率、平均処理時間、予約完了率、CSAT、人間の担当者への転送率などが考えられます。明確な指標があれば、導入によって実際に成果が改善しているかを判断しやすくなります。

ElevenAgentsでは、事前構築済みテンプレート も提供しており、より迅速に始められます。

ステップ2：顧客がエージェントとやり取りする場所を選ぶ

ワークフローを定義したら、顧客が最も利用しそうなチャネルを決めます。

• SIP経由の電話：カスタマーサポート、予約管理、請求の問い合わせ、サービス依頼など、大量の音声ワークフローに最適です。既存の顧客行動に合うため、企業が最初に自動化することの多いチャネルです。ElevenAgentsはTwilioやその他のSIPプロバイダーに接続します。アウトバウンド電話には、米国のTCPAや欧州における通話録音のGDPRなど、コンプライアンス要件がある点に注意してください。
• Webウィジェット：顧客がサポートに問い合わせる前にWebサイトを頻繁に訪れる場合に便利です。ElevenAgentsのWebウィジェットは、ブラウザ内で音声とチャットの両方に対応するため、訪問者は電話をかけずに好みの方法でやり取りできます。
• WhatsApp：メッセージ中心のワークフロー、多言語の利用者、WhatsAppが主要な顧客チャネルである市場に適しています。話すよりテキストで企業とやり取りしたい顧客もいるため、有用な追加チャネルです。 

音声エージェントの稼働後、追加チャネルへの拡張に必要な作業はわずかです。ElevenAgentsなら、ゼロから作り直さずに、同じエージェントを電話、Web、WhatsAppなどへ展開できます。

ステップ3：エージェントの知識、音声、動作を構成する

チャネルを選択したら、エージェントの動作を形作るLLM、知識ソース、音声、システムプロンプトを構成します。

• LLM：エージェントの推論エンジンです。主なトレードオフはレイテンシーと能力のバランスです。小さく高速なモデルは、流暢で自然な会話に適しています。より強力な推論力を持つ大規模モデルは、複雑なツール呼び出し、詳細なシステムプロンプト、複数ステップのワークフローに適しています。モデル一覧とトレードオフ を確認し、ユースケースに最適なものを選んでください。
• ナレッジベース：エージェントが質問に正確に答えるために参照する文書、FAQ、SOPです。主なトレードオフは網羅性と精度です。ナレッジベースを広げるほどエージェントが利用できる情報は増えますが、焦点の定まらないコンテンツが多すぎると検索品質が低下することがあります。定義したユースケースに最も関連するコンテンツから始め、そこから拡張しましょう。
• 音声：発信者に聞こえるエージェントの声です。ElevenAgentsでは、10,000種類以上の音声 をアクセント、言語、スタイル別に利用でき、独自の声をクローンすることもできます。ブランドや利用者に合う声を選び、地域ごとに異なる声を選んで、顧客に親しみのある声を届けることも検討してください。
• システムプロンプト：エージェントの役割、トーン、実行すべきタスク、決して実行してはならないタスク、エスカレーション要件、コンプライアンス上の制約を定める運用指示です。強いプロンプトは予測可能な動作を生み、曖昧なプロンプトは一貫性のない会話を生みます。 ElevenAgentsプロンプティングガイド で詳しくご確認ください。

この4つの要素は連携します。LLMが推論し、ナレッジベースが正確な回答を提供し、音声がそれを届け、システムプロンプトが全体を正しい方向に保ちます。開始前にそれぞれを適切に整えることが、信頼できるエージェントと一貫性のないエージェントを分けます。

ステップ4：引き継ぎルールを定義する

エージェントは、人間の支援が必要になるタイミングを正確に把握している必要があります。一般的な引き継ぎトリガーには次があります。

• 発信者が人間の担当者を求めた場合。
• エージェントの応答に対する確信度が低い場合。
• 同じ質問への回答を何度試みても失敗した場合。
• デリケートな請求やコンプライアンス関連の状況。
• 感情が高ぶった顧客とのやり取り。

ElevenAgentsでは、引き継ぎロジックをビジュアルエディターのワークフロー で定義します。この機能により、技術者でないチームでも、各ステージの定義、あるエージェントから次のエージェントへ会話を移す条件の設定、トリガーに応じた人間へのルーティングなど、AIエージェントによる会話の処理方法を設計できます。

マルチエージェントルーティングにも対応しています。1つのエージェントに通話全体を任せる代わりに、特定タスク専用の専門エージェントを作成できます。たとえば、トリアージエージェントが電話に出て発信者の要件を特定し、支払いに関する問い合わせ専門の請求エージェントへ振り分けます。各エージェントは独自のプロンプトとナレッジベースで動作するため、すべてを一度にカバーしようとせず、担当領域に集中して正確に対応できます。

ステップ5：会話を評価・シミュレーションする

顧客に公開する前に、あらかじめ定めた評価基準でテストしてください。本番環境での失敗の多くは、誤ったLLMや質の低い音声が原因ではありません。エッジケースでしか明らかにならない、システムプロンプトやナレッジベースの不足が原因です。開始前のテストによって、実際の顧客が見つける前にその不足を見つけられます。

ElevenAgentsでは、相互補完的な3つの方法でエージェントをテストできます。

• 次の応答テスト：定義した成功基準に対して会話の応答を評価します。シナリオと適切な応答の条件を定義し、LLM評価器が合格・不合格を判定します。
• ツール呼び出しテスト：エージェントが適切なツールを正しいパラメーターで呼び出すかを確認します。転送、データ照会、決済処理といった重要度の高いアクションでは特に重要です。
• シミュレーションテスト：シミュレートされたユーザーとの完全な複数ターン会話を実行し、1つの応答だけでなく、やり取り全体が意図した結果に到達するかを検証します。

開始前に3種類すべてのテストを実行し、失敗があれば原因を追跡します。原因は、プロンプトの不足、ナレッジベースのコンテンツ不足、ツールロジックの問題のいずれかです。基準を安定して満たすまで改善を繰り返してください。問題を見つけるべき場所は、実際の顧客との通話ではなくシミュレーション環境です。

ステップ6：導入、監視、改善

開始後は、顧客成果と業務指標の両方を ElevenAgents分析ダッシュボード で監視します。 

主な指標：

• 解決率。
• 完結率。
• エスカレーション率。
• CSAT。
• 平均処理時間。
• 再問い合わせ率。 

成功している導入事例の多くは、実際の顧客との会話をもとに、プロンプト、知識ソース、ワークフローを継続的に改善しています。

ElevenAgentsで最初のAI音声エージェントを構築

多くのサポートチームやオペレーションチームは顧客との会話を自動化したいと考えていますが、音声AIスタック全体を社内で構築・維持するリソースがありません。

ElevenAgents は、リアルタイム会話の複雑さの多くを処理しながら、ノーコードで音声エージェントを導入する方法を提供します。チームは1つのプラットフォームで、ビジネス知識の接続、ワークフローの定義、エスカレーションロジックの構成、パフォーマンステスト、電話およびWebベースの音声体験への展開を行えます。

より実践的な支援を求めるチームに向けて、ElevenAgentsはForward Deployed Engineers も提供しています。これは、チームに直接入り込み、要件定義、構築、本番運用可能なエージェントの導入を支援するElevenLabsの専門家です。プラットフォームを引き渡して終わるのではなく、ローンチ後も継続して関わり、チームが追跡するものと同じKPIに責任を持ちます。

次のステップに進む準備ができたら、すぐにエージェントを構築する か、営業チームに相談する ことで、導入に最適な支援方法をご相談いただけます。

よくある質問