成功评估
成功评估
定义自定义标准,评估对话质量、目标达成情况和客户满意度。
成功评估可让你为对话定义自定义目标和成功指标。系统会根据对话转录文本评估每项标准,并返回 success、failure 或 unknown 结果及详细理由。
概述
成功评估使用 LLM 驱动的分析,根据你的特定业务目标评估对话质量。这让你能够系统地衡量所有客户互动的表现并进行质量保证。
工作原理
每项评估标准都会使用自定义提示词分析对话转录文本,并返回:
- 结果:
success、failure或unknown - 理由:选择该结果的详细说明
评估标准类型
目标提示词标准
目标提示词标准 会将对话转录文本和自定义提示词一起传递给 LLM,以验证是否达成特定目标。这是最灵活的评估类型,可用于复杂的业务逻辑。
示例:
- 客户满意度评估
- 问题解决验证
- 合规检查
- 自定义业务规则验证
配置
最佳实践
编写有效的评估提示词
- 明确说明成功与失败的判定标准
- 在提示词中包含边缘情况和示例
- 尽可能使用清晰、可衡量的标准
- 使用各种对话场景测试提示词
常见评估标准
- 客户满意度:“如果客户表达满意,或其问题已解决,则标记为成功” - 目标完成:“如果客户完成了所需操作(预订、购买等),则标记为成功” - 合规:“如果智能体遵循了所有必需的合规流程,则标记为成功” - 问题解决:“如果客户的技术问题在通话中得到解决,则标记为成功”
处理模糊结果
当 LLM 无法从转录文本中判断成功或失败时,会返回 unknown 结果。通常发生在以下情况:
- 对话不完整
- 客户回复模糊
- 转录文本中缺少信息
监控 unknown 结果,以发现评估标准提示词可能需要优化的地方。
使用场景
故障排除
评估标准返回意外结果
- 检查提示词是否清晰、具体
- 使用示例对话测试以验证逻辑
- 在评估标准中考虑边缘情况
- 检查转录文本是否包含足够的评估信息
“unknown”结果频繁出现
- 确保提示词明确说明需要查找的信息 - 考虑对话是否包含足够的评估上下文 - 检查转录文本质量和完整性 - 调整标准以处理常见边缘情况
性能注意事项
- 每项评估标准都会增加对话分析的处理时间
- 复杂提示词可能需要更长时间评估
- 考虑全面分析和响应时间之间的权衡
- 监控使用情况,以便根据具体需求进行优化
可通过 通话后 Webhook 获取成功评估结果,并与外部系统 和分析平台集成。


