成功评估

定义自定义标准,评估对话质量、目标达成情况和客户满意度。

成功评估可让你为对话定义自定义目标和成功指标。系统会根据对话转录文本评估每项标准,并返回 success、failure 或 unknown 结果及详细理由。

概述

成功评估使用 LLM 驱动的分析,根据你的特定业务目标评估对话质量。这让你能够系统地衡量所有客户互动的表现并进行质量保证。

工作原理

每项评估标准都会使用自定义提示词分析对话转录文本,并返回:

  • 结果:success、failure 或 unknown
  • 理由:选择该结果的详细说明

评估标准类型

目标提示词标准 会将对话转录文本和自定义提示词一起传递给 LLM,以验证是否达成特定目标。这是最灵活的评估类型,可用于复杂的业务逻辑。

示例:

  • 客户满意度评估
  • 问题解决验证
  • 合规检查
  • 自定义业务规则验证

配置

1

访问智能体设置

前往智能体控制面板,选择 分析 标签页以配置评估标准。

分析设置

2

添加评估标准

点击 添加标准,创建新的评估标准。

定义标准时请设置:

  • 标识符:标准的唯一名称(例如 user_was_not_upset)
  • 描述:说明应评估内容的详细提示词

设置评估标准

每个智能体最多可添加 30 项评估标准。

3

查看结果

对话结束后,评估结果会显示在对话历史记录控制面板中。每个对话都会显示每项已配置标准的评估结果和理由。

对话历史记录中的评估结果

最佳实践

  • 明确说明成功与失败的判定标准
  • 在提示词中包含边缘情况和示例
  • 尽可能使用清晰、可衡量的标准
  • 使用各种对话场景测试提示词
  • 客户满意度:“如果客户表达满意,或其问题已解决,则标记为成功” - 目标完成:“如果客户完成了所需操作(预订、购买等),则标记为成功” - 合规:“如果智能体遵循了所有必需的合规流程,则标记为成功” - 问题解决:“如果客户的技术问题在通话中得到解决,则标记为成功”

当 LLM 无法从转录文本中判断成功或失败时,会返回 unknown 结果。通常发生在以下情况:

  • 对话不完整
  • 客户回复模糊
  • 转录文本中缺少信息

监控 unknown 结果,以发现评估标准提示词可能需要优化的地方。

使用场景

客户支持质量

衡量问题解决率、客户满意度和支持质量指标,以改善服务交付。

销售绩效

跟踪销售对话中的目标达成、异议处理和转化率。

合规监控

确保智能体遵循必需流程,并记录必要的同意或披露确认。

培训与发展

识别辅导机会,并衡量智能体表现随时间的提升情况。

故障排除

  • 检查提示词是否清晰、具体
  • 使用示例对话测试以验证逻辑
  • 在评估标准中考虑边缘情况
  • 检查转录文本是否包含足够的评估信息
  • 确保提示词明确说明需要查找的信息 - 考虑对话是否包含足够的评估上下文 - 检查转录文本质量和完整性 - 调整标准以处理常见边缘情况
  • 每项评估标准都会增加对话分析的处理时间
  • 复杂提示词可能需要更长时间评估
  • 考虑全面分析和响应时间之间的权衡
  • 监控使用情况,以便根据具体需求进行优化

可通过 通话后 Webhook 获取成功评估结果,并与外部系统 和分析平台集成。