成功評価
会話の品質、目標達成度、顧客満足度を評価するためのカスタム基準を定義します。
成功評価では、会話に対するカスタム目標と成功指標を定義できます。各基準は会話の文字起こしに基づいて評価され、詳細な根拠とともに success、failure、または unknown の結果を返します。
概要
成功評価では、LLMを活用した分析により、特定のビジネス目標に照らして会話の品質を評価します。これにより、すべての顧客対応における体系的なパフォーマンス測定と品質保証が可能になります。
仕組み
各評価基準は、カスタムプロンプトを使用して会話の文字起こしを分析し、次の内容を返します。
- 結果:
success、failure、またはunknown - 根拠:その結果が選ばれた理由の詳細な説明
評価基準の種類
目標プロンプト基準
目標プロンプト基準では、会話の文字起こしとカスタムプロンプトをLLMに渡し、特定の目標が達成されたかどうかを確認します。これは最も柔軟な評価タイプで、複雑なビジネスロジックにも使用できます。
例:
- 顧客満足度の評価
- 問題解決の確認
- コンプライアンスチェック
- カスタムビジネスルールの検証
設定
評価基準を追加
評価を追加 をクリックして新しい評価基準を作成するか、ワークスペースの分析ライブラリから基準を追加します。
次の項目を設定して基準を定義します。
- 名前:基準の名前(例:ユーザーは不満を感じていなかった)
- 説明:評価対象を詳しく説明するプロンプト

評価基準はエージェントごとに30件までです。
ベストプラクティス
効果的な評価プロンプトの書き方
- 成功と失敗の条件を具体的に示す
- プロンプトにエッジケースと例を含める
- 可能な場合は明確で測定可能な基準を使用する
- さまざまな会話シナリオでプロンプトをテストする
一般的な評価基準
- 顧客満足度:「顧客が満足を示した、または顧客の 問題が解決した場合は成功とする」 - 目標達成:「顧客が 求められたアクション(予約、購入など)を完了した場合は成功とする」 - コンプライアンス:「エージェントが 必要なコンプライアンス手順をすべて遵守した場合は成功とする」 - 問題解決:「通話中に 顧客の技術的な問題が解決した場合は成功とする」
曖昧な結果への対応
unknown の結果は、LLMが文字起こしから成功または失敗を判断できない場合に返されます。これは多くの場合、次のような状況で発生します。
- 未完了の会話
- 曖昧な顧客の回答
- 文字起こし内の情報不足
unknown の結果を監視し、基準プロンプトの改善が必要な領域を特定してください。
ユースケース
トラブルシューティング
評価基準が予期しない結果を返す
- プロンプトの明確さと具体性を確認する
- サンプル会話でテストしてロジックを検証する
- 評価基準のエッジケースを検討する
- 文字起こしに評価に十分な情報が含まれているか確認する
'unknown' の結果が頻繁に発生する
- プロンプトで探すべき情報を具体的に示す - 会話に 評価に必要な十分な文脈があるか検討する - 文字起こしの品質と完全性を確認する - 一般的なエッジケースに対応できるよう基準を調整する
パフォーマンスに関する考慮事項
- 評価基準を追加するたびに、会話分析の処理時間が増加する
- 複雑なプロンプトは評価に時間がかかる場合がある
- 包括的な分析と応答時間のトレードオフを検討する
- 特定のニーズに合わせて最適化できるよう使用状況を監視する
成功評価の結果は、外部システムや分析プラットフォームとの統合のために通話後 Webhookから利用できます。

