Guias

Simular conversas

Aprenda a testar e avaliar seu agente da ElevenLabs com conversas simuladas

Este guia e os endpoints que ele usa estão descontinuados. Use o tipo de teste de agente Simulação em vez disso.

Visão geral

A API do ElevenLabs Agents permite simular e avaliar conversas baseadas em texto com seu agente de IA. Este guia mostrará como implementar um workflow completo de testes de simulação usando os endpoints de simulação de conversa (em lote e streaming), permitindo testar e melhorar de forma detalhada o desempenho do seu agente para garantir que ele atenda aos seus objetivos de interação.

Pré-requisitos

Como implementar um workflow de testes de simulação

1

Identifique os parâmetros iniciais de avaliação

Pesquise o histórico de conversas do seu agente e encontre casos em que ele teve um desempenho abaixo do esperado. Use essas conversas para criar vários prompts para um usuário simulado que interagirá com seu agente. Além disso, defina critérios extras de avaliação que ainda não estejam especificados na configuração do seu agente para testar resultados que você possa querer para um usuário simulado específico.

2

Simule a conversa com o SDK

Crie uma solicitação para o endpoint de simulação usando o SDK da ElevenLabs.

from dotenv import load_dotenv
from elevenlabs import (
    ElevenLabs,
    ConversationSimulationSpecification,
    AgentConfig,
    PromptAgent,
    PromptEvaluationCriteria
)
load_dotenv()
api_key = os.getenv("ELEVENLABS_API_KEY")
elevenlabs = ElevenLabs(api_key=api_key)
response = elevenlabs.conversational_ai.agents.simulate_conversation(
    agent_id="YOUR_AGENT_ID",
    simulation_specification=ConversationSimulationSpecification(
        simulated_user_config=AgentConfig(
            prompt=PromptAgent(
                prompt="Your goal is to be a really difficult user.",
                llm="gpt-4o",
                temperature=0.5
            )
        )
    ),
    extra_evaluation_criteria=[
        PromptEvaluationCriteria(
            id="politeness_check",
            name="Politeness Check",
            conversation_goal_prompt="The agent was polite.",
            use_knowledge_base=False
        )
    ]
)
print(response)

Este é um exemplo básico. Para ver uma lista completa de parâmetros de entrada, consulte a referência da API dos endpoints Simular conversa e Transmitir simulação de conversa.

3

Analise a resposta

O SDK fornece um objeto JSON completo que inclui toda a transcrição da conversa e uma análise detalhada.

Conversa simulada: registra cada turno de interação entre o usuário simulado e o agente, detalhando mensagens e uso de ferramentas.

Exemplo de histórico de conversa
[
  ...
  {
    "role": "user",
    "message": "Maybe a little. I'll think about it, but I'm still not convinced it's the right move.",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": "I understand. If you want to explore more at your own pace, I can direct you to our documentation, which has guides and API references. Would you like me to send you a link?",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "user",
    "message": "I guess it wouldn't hurt to take a look. Go ahead and send it over.",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": null,
    "tool_calls": [
      {
        "type": "client",
        "request_id": "redirectToDocs_421d21e4b4354ed9ac827d7600a2d59c",
        "tool_name": "redirectToDocs",
        "params_as_json": "{\"path\": \"/docs/api-reference/introduction\"}",
        "tool_has_been_called": false,
        "tool_details": null
      }
    ],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": null,
    "tool_calls": [],
    "tool_results": [
      {
        "type": "client",
        "request_id": "redirectToDocs_421d21e4b4354ed9ac827d7600a2d59c",
        "tool_name": "redirectToDocs",
        "result_value": "Tool Called.",
        "is_error": false,
        "tool_has_been_called": true,
        "tool_latency_secs": 0
      }
    ],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  },
  {
    "role": "agent",
    "message": "Okay, I've sent you a link to the introduction to our API reference.  It provides a good starting point for understanding our different tools and how they can be integrated. Let me know if you have any questions as you explore it.\n",
    "tool_calls": [],
    "tool_results": [],
    "feedback": null,
    "llm_override": null,
    "time_in_call_secs": 0,
    "conversation_turn_metrics": null,
    "rag_retrieval_info": null,
    "llm_usage": null
  }
  ...
]

Análise: oferece insights sobre os resultados dos critérios de avaliação, métricas de coleta de dados e um resumo da transcrição da conversa.

Exemplo de análise
{
  "analysis": {
    "evaluation_criteria_results": {
      "politeness_check": {
        "criteria_id": "politeness_check",
        "result": "success",
        "rationale": "The agent remained polite and helpful despite the user's challenging attitude."
      },
      "understood_root_cause": {
        "criteria_id": "understood_root_cause",
        "result": "success",
        "rationale": "The agent acknowledged the user's hesitation and provided relevant information."
      },
      "positive_interaction": {
        "criteria_id": "positive_interaction",
        "result": "success",
        "rationale": "The user eventually asked for the documentation link, indicating engagement."
      }
    },
    "data_collection_results": {
      "issue_type": {
        "data_collection_id": "issue_type",
        "value": "support_issue",
        "rationale": "The user asked for help with integrating ElevenLabs tools."
      },
      "user_intent": {
        "data_collection_id": "user_intent",
        "value": "The user is interested in integrating ElevenLabs tools into a project."
      }
    },
    "call_successful": "success",
    "transcript_summary": "The user expressed skepticism, but the agent provided useful information and a link to the API documentation."
  }
}
4

Melhore seus critérios de avaliação

Analise cuidadosamente as conversas simuladas para avaliar a eficácia dos seus critérios de avaliação. Identifique lacunas ou áreas em que os critérios podem ser insuficientes para avaliar o desempenho do agente. Refine e ajuste os critérios de avaliação conforme necessário para garantir que estejam alinhados aos resultados desejados e meçam com precisão as capacidades do agente.

5

Melhore seu agente

Quando você estiver confiante na precisão dos seus critérios de avaliação, use os aprendizados das conversas simuladas para aprimorar as capacidades do seu agente. Considere refinar o prompt do sistema para orientar melhor as respostas do agente, garantindo que estejam alinhadas aos seus objetivos e às expectativas dos usuários. Além disso, explore outros recursos ou configurações que possam ser otimizados, como ajustar o tom do agente, melhorar sua capacidade de lidar com consultas específicas ou integrar fontes de dados adicionais para enriquecer suas respostas. Ao aplicar esses aprendizados de forma sistemática, você pode criar um agente conversacional mais robusto e eficaz, que ofereça uma experiência superior aos usuários.

6

Iteração contínua

Depois de concluir um ciclo inicial de testes e melhorias, estabelecer uma suíte de testes completa pode ser uma ótima forma de abranger uma ampla variedade de cenários possíveis. Essa suíte pode explorar várias conversas simuladas usando diferentes prompts de usuários simulados e condições iniciais. Ao iterar e refinar continuamente sua abordagem, você pode garantir que seu agente permaneça eficaz e responsivo às necessidades em constante evolução dos usuários.

Dicas profissionais

Prompts e critérios detalhados

Criar prompts detalhados e extensos para usuários simulados e critérios de avaliação pode aumentar a eficácia dos testes de simulação. Quanto mais contexto e especificidade você fornecer, melhor o agente poderá entender e responder a interações complexas.

Configurações de ferramentas simuladas

Use configurações de ferramentas simuladas para testar o processo de tomada de decisão do seu agente. Isso permite observar como o agente decide fazer chamadas de ferramentas e reagir a diferentes resultados dessas chamadas. Para mais detalhes, consulte o parâmetro de entrada tool_mock_config na referência da API.

Histórico parcial de conversa

Use históricos parciais de conversa para avaliar como os agentes lidam com interações a partir de um ponto específico. Isso é particularmente útil para avaliar a capacidade do agente de gerenciar conversas em que o usuário já formulou uma pergunta de determinada forma ou em que determinadas chamadas de ferramentas foram bem-sucedidas ou falharam. Para mais detalhes, consulte o parâmetro de entrada partial_conversation_history na referência da API.