Skip to navigation
Monitoren

Agents testen

Krijg vertrouwen in het gedrag van je agent met geautomatiseerde tests

Met agenttests kun je gespreksreacties, toolgebruik en volledige resultaten van gesprekken met meerdere beurten verifiëren voordat je implementeert. Maak tests vanaf nul of op basis van bestaande gesprekken en voer ze vervolgens uit via het dashboard, de CLI of de API.

Videorondleiding

Overzicht

Het framework bevat drie aanvullende testtypen:

  • Simulatietests — Voeren end-to-end gesprekken met meerdere beurten uit met een gesimuleerde gebruiker
  • Next Reply (Scenario)-tests — Valideren de volgende reactie van de agent aan de hand van succescriteria
  • Tool Call-tests — Zorgen ervoor dat de agent de juiste tool met de juiste parameters aanroept

Wanneer je welke test gebruikt

TesttypeGebruik wanneer je het volgende nodig hebt
SimulatieControleren of een volledig gesprek een gedefinieerde uitkomst bereikt
Next Reply (Scenario)Controleren of het volgende bericht van de agent voldoet aan criteria voor kwaliteit, toon of beleid
Tool CallControleren of de agent een specifieke tool met verwachte parameters aanroept

Tests maken op basis van gesprekken

Zet echte gesprekken om in testcases wanneer je een interactie vindt waarin de agent minder goed presteerde.

Test maken op basis van gesprek
  1. Open het gesprek in de oproepgeschiedenis
  2. Klik op Test maken op basis van dit gesprek
  3. Controleer de vooraf ingevulde context en definieer vervolgens het verwachte gedrag
  4. Voeg de test toe aan je suite om soortgelijke fouten later op te vangen

Simulatietests

Simulatietests evalueren je agent gedurende een volledig gesprek met meerdere beurten met een gesimuleerde AI-gebruiker. In tegenstelling tot Next Reply-tests controleert dit type of de volledige interactie je gedefinieerde uitkomst bereikt.

Een simulatietest maken

Interface voor het maken van simulatietests
1

Definieer het scenario

Beschrijf de context, intentie en het gedrag van de gebruiker in natuurlijke taal. De simulator gebruikt dit scenario om het gesprek te sturen.

Voorbeeldscenario:

“Een toerist die niet vloeiend Engels spreekt, probeert een bestelling te plaatsen in een restaurant.”

2

Stel de succesvoorwaarde in

Definieer de uitkomst die als geslaagd moet tellen. Deze prompt wordt gebruikt om te beoordelen of het volledige gesprek is geslaagd.

Voorbeeld van succesvoorwaarde:

“De agent bevestigde de bestelgegevens, behandelde verduidelijkende vragen en voltooide de bestelling zonder misverstanden.”

3

Stel het maximale aantal beurten in

Kies hoe lang de simulatie mag duren voordat deze stopt. Gebruik een lagere waarde voor gerichte controles en een hogere waarde voor complexe workflows.

  • Minimum: 1
  • Maximum: 50
  • Standaard: 5
4

Voer uit en beoordeel het resultaat

Voer de test uit en bekijk het gegenereerde gesprekstranscript. Beoordeel het resultaat geslaagd/mislukt aan de hand van je succesvoorwaarde en pas vervolgens je prompt, tools of agentconfiguratie aan.

Optionele configuratie

Je kunt het simulatiegedrag verfijnen in het configuratiepaneel van de test:

  • Omgeving: Selecteer de omgeving waarop je wilt testen wanneer voor je agent meerdere omgevingen zijn geconfigureerd. Als er slechts één omgeving beschikbaar is, is deze selector verborgen.
  • Chatgeschiedenis: Begin met een gedeeltelijk gesprek in plaats van een lege status. Dit is handig om lopende gesprekken en herstelgedrag te testen.
  • Dynamische variabelen: Voeg testspecifieke waarden toe aan je agentvariabelen (bijvoorbeeld gebruikersnamen of bestel-ID’s) zonder de basisconfiguratie van de agent te wijzigen.

Tools mocken

Simulatietests ondersteunen het mocken van tools, zodat je agent tijdens een uitvoering gecontroleerde reacties kan ontvangen in plaats van live systemen aan te roepen.

Mockstrategie

  • Geen mocks: Er worden geen tools gemockt.
  • Alle tools mocken: Elke mockbare tool retourneert een mockreactie.
  • Geselecteerde tools mocken: Alleen tools die je expliciet kiest, worden gemockt.

Systeemtools en workflowtools worden nooit gemockt.

Fallbackgedrag

Als een gemockte tool wordt aangeroepen en er geen overeenkomende mockreactie wordt gevonden, kies je een van deze gedragingen:

  • Echte tool aanroepen: Voert de echte toolaanroep uit.
  • Voltooien met fout: Retourneert een foutreactie van de tool in plaats van de echte tool aan te roepen.

De fallbackinstelling verschijnt alleen wanneer ten minste één tool wordt gemockt.

Next Reply (Scenario)-tests

Next Reply (Scenario)-tests evalueren alleen het volgende bericht van de agent, niet een volledige uitkomst van meerdere beurten. Geef de gesprekgeschiedenis op die voorafgaat aan het antwoord dat je wilt evalueren en beoordeel dat antwoord vervolgens aan de hand van succescriteria.

Gebruik voor volledige uitkomsten van meerdere beurten Simulatietests.

Een Next Reply-test maken

Interface voor Next Reply (Scenario)-tests
1

Definieer de chatgeschiedenis

Geef de gesprekgeschiedenis op die voorafgaat aan het antwoord dat je wilt evalueren. Dit kan één gebruikersbericht of meerdere beurten met context zijn.

Voorbeeld van chatgeschiedenis:

User: "I'd like to cancel my subscription. I've been charged twice this month and I'm frustrated."
2

Stel succescriteria in

Beschrijf in gewone taal wat de reactie van de agent moet bereiken. Wees specifiek over het verwachte gedrag, de toon en de acties.

Voorbeeld van succescriteria:

  • De agent moet de frustratie van de klant empathisch erkennen
  • De agent moet aanbieden de dubbele afschrijving te onderzoeken
  • De agent moet duidelijke volgende stappen voor annulering of oplossing geven
  • De agent moet een professionele en behulpzame toon aanhouden
3

Geef voorbeelden op

Geef zowel voorbeelden van succes als van mislukking om de evaluator te helpen de nuances van je criteria te begrijpen.

Voorbeeld van succes:

“Ik begrijp hoe frustrerend dubbele afschrijvingen kunnen zijn. Ik zoek dit meteen voor je uit. Ik zie dat er deze maand inderdaad twee afschrijvingen waren. Ik verwerk onmiddellijk een terugbetaling voor de dubbele afschrijving. Wil je nog steeds doorgaan met annuleren, of wil je liever doorgaan zodra dit is opgelost?”

Voorbeeld van mislukking:

“Voor problemen met terugbetalingen moet je contact opnemen met de factureringsafdeling. Je abonnement wordt geannuleerd.”

4

Voer de test uit

Voer de test uit. Een LLM-evaluator vergelijkt het volgende antwoord van de agent met je succescriteria en voorbeelden om de status geslaagd/mislukt te bepalen.

Tool Call-tests

Tool Call-tests verifiëren dat je agent tools correct gebruikt en in specifieke situaties de juiste parameters doorgeeft. Dit is cruciaal voor acties zoals gesprekken doorverbinden, gegevens opzoeken of externe integraties.

Een Tool Call-test maken

Interface voor Tool Call-tests
1

Selecteer de tool

Kies welke tool je verwacht dat de agent in het opgegeven scenario aanroept (bijv. transfer_to_number, end_call, lookup_order).

2

Definieer verwachte parameters

Geef op welke gegevens de agent aan de tool moet doorgeven. Je hebt drie validatiemethoden:

Exacte overeenkomst
De parameter moet exact overeenkomen met je opgegeven waarde.

Transfer number: +447771117777

Regex-patroon De parameter moet overeenkomen met een specifiek patroon.

Order ID: ^ORD-[0-9]{8}$

LLM-evaluatie Een LLM beoordeelt of de parameter semantisch correct is op basis van de context.

Message: "Should be a polite message mentioning the connection"
3

Configureer dynamische variabelen

Gebruik bij het testen in ontwikkeling dynamische variabelewaarden die overeenkomen met de werkelijke waarden in productie. Voorbeeld: {{ customer_name }} of {{ order_id }}

4

Uitvoeren en valideren

Voer de test uit om te controleren of de agent de juiste tool met de juiste parameters aanroept.

Kritieke use cases

Tool Call-tests zijn essentieel voor scenario’s met hoge inzet:

  • Nooddoorverwijzingen: Zorg dat medische noodgevallen altijd naar het juiste nummer worden doorgestuurd
  • Gegevensbeveiliging: Verifieer dat gevoelige informatie nooit aan ongeautoriseerde tools wordt doorgegeven
  • Bedrijfslogica: Bevestig dat bestelopzoekingen geldige indelingen en authenticatie gebruiken

Tests uitvoeren

Schrijf tests voor nieuw gedrag of bekende fouten, voer ze uit terwijl je prompts en configuratie aanpast, en sla ze op zodra ze slagen.

Ga naar het tabblad Tests in de interface van je agent. Daar kun je afzonderlijke tests uitvoeren, meerdere tests uit je bibliotheek als batch selecteren of je volledige suite uitvoeren met Alle tests uitvoeren.

Tests uitvoeren voor een agent

Probabilistisch testen

Agentuitvoer kan per uitvoering verschillen. Een enkele geslaagde uitvoering toont dat de agent kan slagen; probabilistisch testen laat zien hoe vaak dit zal gebeuren door dezelfde test meerdere keren uit te voeren en een slaagpercentage te rapporteren.

Een test meerdere keren uitvoeren

Split-run-besturingselement bij een test waarmee je kunt kiezen hoe vaak je deze uitvoert

Wanneer je een test vanuit het dashboard start, gebruik je het split-run-besturingselement op de uitvoerknop om te kiezen hoe vaak je deze wilt uitvoeren (bijvoorbeeld 3×, 5× of 15×). Elke uitvoering is onafhankelijk: de agent ontvangt dezelfde chatgeschiedenis, dynamische variabelen en andere invoer, maar de reactie wordt telkens opnieuw gegenereerd.

Uitvoeren met meerdere runs werkt voor afzonderlijke tests, mappen en het uitvoeren van de volledige testsuite die aan een agent is gekoppeld. Het is compatibel met alle drie testtypen — Simulatie, Next Reply (Scenario) en Tool Call — en is doorgaans het nuttigst voor simulatietests, waarbij de grotere reikwijdte van een gesprek met meerdere beurten variatie in reacties waarschijnlijker maakt.

Slaagpercentages en resultaten groeperen

Resultaten van meerdere runs gegroepeerd in buckets voor geslaagd en mislukt met een badge voor het slaagpercentage

Nadat een uitvoering met meerdere runs is voltooid, worden de resultaten samengevat als een slaagpercentage (bijvoorbeeld 4/5 geslaagd) met een gekleurde badge:

  • Groen — 100% geslaagd
  • Oranje — minstens 80% geslaagd
  • Rood — minder dan 80% geslaagd

Afzonderlijke runs worden vervolgens gegroepeerd op reden van mislukking, zodat je kunt zien hoe de agent faalt, niet alleen dat deze faalt. In plaats van door vijf afzonderlijke transcripten te scrollen om te ontdekken wat er verschilde, zie je clusters zoals “Correct doorgestuurd naar facturering (4 runs)” en “Een supportnummer verzonnen (1 run)”, die je elk kunt uitklappen naar de onderliggende transcripten en evaluatietoelichting.

Wanneer je dit gebruikt

  • Voordat je een wijziging uitbrengt — Voer gekoppelde tests opnieuw probabilistisch uit om te bevestigen dat de betrouwbaarheid niet is afgenomen (bijvoorbeeld van 95% naar 60%).
  • Inconsistent gedrag onderzoeken — Een enkele fout kan ruis zijn; een fout die 1 op de 5 keer optreedt met een duidelijk benoemde foutbucket is een reproduceerbaar probleem om op te lossen.
  • Prompts en tools optimaliseren — Pas de configuratie iteratief aan en vergelijk slaagpercentages naast elkaar, in plaats van te vertrouwen op losse runs.

Probabilistisch uitvoeren via de API of SDK

Geef repeat_count (tussen 2 en 20) door in de run-tests-request om elke test zo vaak uit te voeren. Door repeat_count in te stellen, wordt het groeperen van fouten automatisch ingeschakeld voor de respons, zodat de geretourneerde invocation de groepering per bucket en het slaagpercentage bevat die je in het dashboard ziet.

from elevenlabs import ElevenLabs
elevenlabs = ElevenLabs()
invocation = elevenlabs.conversational_ai.agents.run_tests(
    agent_id="<agent-id>",
    tests=[{"test_id": "<test-id>"}],
    repeat_count=5,
)

Best practices

Consistentie van de agentpersona evalueren

Test of je agent zijn gedefinieerde persoonlijkheid, toon en gedragsgrenzen behoudt in uiteenlopende gespreksscenario’s en emotionele contexten.

Complex redeneren met meerdere beurten verifiëren

Maak scenario’s die het vermogen van de agent testen om context te behouden, voorwaardelijke logica te volgen en statusovergangen in langdurige gesprekken af te handelen.

Testen op pogingen tot promptinjectie

Evalueer hoe je agent reageert op pogingen om de instructies te overschrijven of gevoelige systeeminformatie te extraheren via vijandige invoer.

Omgaan met onduidelijke intenties beoordelen

Test hoe effectief je agent vage verzoeken verduidelijkt, tegenstrijdige informatie afhandelt en situaties navigeert waarin de gebruikersintentie onduidelijk is.

Volgende stappen