ナビゲーションにスキップ

成功評価

会話の品質、目標達成度、顧客満足度を評価するためのカスタム基準を定義します。

成功評価では、会話に対するカスタム目標と成功指標を定義できます。各基準は会話の文字起こしに基づいて評価され、詳細な根拠とともに success、failure、または unknown の結果を返します。

概要

成功評価では、LLMを活用した分析により、特定のビジネス目標に照らして会話の品質を評価します。これにより、すべての顧客対応における体系的なパフォーマンス測定と品質保証が可能になります。

仕組み

各評価基準は、カスタムプロンプトを使用して会話の文字起こしを分析し、次の内容を返します。

  • 結果:success、failure、または unknown
  • 根拠:その結果が選ばれた理由の詳細な説明

評価基準の種類

目標プロンプト基準では、会話の文字起こしとカスタムプロンプトをLLMに渡し、特定の目標が達成されたかどうかを確認します。これは最も柔軟な評価タイプで、複雑なビジネスロジックにも使用できます。

例:

  • 顧客満足度の評価
  • 問題解決の確認
  • コンプライアンスチェック
  • カスタムビジネスルールの検証

設定

1

エージェント設定にアクセス

エージェントのダッシュボードに移動し、分析 タブを選択して評価基準を設定します。

分析設定

2

評価基準を追加

評価を追加 をクリックして新しい評価基準を作成するか、ワークスペースの分析ライブラリから基準を追加します。

次の項目を設定して基準を定義します。

  • 名前:基準の名前(例:ユーザーは不満を感じていなかった)
  • 説明:評価対象を詳しく説明するプロンプト

評価基準の設定

評価基準はエージェントごとに30件までです。

3

結果を確認

会話が完了すると、評価結果が会話履歴ダッシュボードに表示されます。各会話では、設定したすべての基準について評価結果と根拠を確認できます。

会話履歴の評価結果

ベストプラクティス

  • 成功と失敗の条件を具体的に示す
  • プロンプトにエッジケースと例を含める
  • 可能な場合は明確で測定可能な基準を使用する
  • さまざまな会話シナリオでプロンプトをテストする
  • 顧客満足度:「顧客が満足を示した、または顧客の 問題が解決した場合は成功とする」 - 目標達成:「顧客が 求められたアクション(予約、購入など)を完了した場合は成功とする」 - コンプライアンス:「エージェントが 必要なコンプライアンス手順をすべて遵守した場合は成功とする」 - 問題解決:「通話中に 顧客の技術的な問題が解決した場合は成功とする」

unknown の結果は、LLMが文字起こしから成功または失敗を判断できない場合に返されます。これは多くの場合、次のような状況で発生します。

  • 未完了の会話
  • 曖昧な顧客の回答
  • 文字起こし内の情報不足

unknown の結果を監視し、基準プロンプトの改善が必要な領域を特定してください。

ユースケース

カスタマーサポートの品質

問題解決率、顧客満足度、サポート品質の指標を測定し、 サービス提供を改善します。

営業パフォーマンス

営業会話全体で目標達成、異議対応、コンバージョン率を追跡します。

コンプライアンス監視

エージェントが必要な手順を遵守し、必要な同意または開示の 確認を取得していることを確認します。

トレーニングと育成

コーチングの機会を特定し、時間の経過に伴うエージェントのパフォーマンス向上を測定します。

トラブルシューティング

  • プロンプトの明確さと具体性を確認する
  • サンプル会話でテストしてロジックを検証する
  • 評価基準のエッジケースを検討する
  • 文字起こしに評価に十分な情報が含まれているか確認する
  • プロンプトで探すべき情報を具体的に示す - 会話に 評価に必要な十分な文脈があるか検討する - 文字起こしの品質と完全性を確認する - 一般的なエッジケースに対応できるよう基準を調整する
  • 評価基準を追加するたびに、会話分析の処理時間が増加する
  • 複雑なプロンプトは評価に時間がかかる場合がある
  • 包括的な分析と応答時間のトレードオフを検討する
  • 特定のニーズに合わせて最適化できるよう使用状況を監視する

成功評価の結果は、外部システムや分析プラットフォームとの統合のために通話後 Webhookから利用できます。