Experimenten
Voer gecontroleerde A/B-tests uit op productietraffic om de prestaties van agents met data te optimaliseren, niet met intuïtie
Met experimenten kun je gecontroleerde A/B-tests uitvoeren voor elk onderdeel van de agentconfiguratie — promptstructuur, workflowlogica, stem, persoonlijkheid, tools, kennisbank — door een afgebakend deel van het verkeer naar een variant te leiden, de impact op belangrijke resultaten te meten en winnaars naar productie te promoveren.
Experimenten zijn gebaseerd op agentversiebeheer. Versiebeheer moet zijn ingeschakeld voor je agent voordat je experimenten kunt uitvoeren.
Waarom experimenteren
Zonder gestructureerde experimenten is optimalisatie afhankelijk van intuïtie. Een aanpassing aan de prompt “voelt” beter. Een wijziging in de workflow “zou” de afhandelingsgraad moeten verbeteren. Een nieuw escalatiepad “lijkt” efficiënter.
Experimenten vervangen giswerk door bewijs. Je test wijzigingen op liveverkeer, meet daadwerkelijke resultaten en promoot wat werkt.
Hoe het werkt
Experimenten volgen een workflow in vier stappen:
Een variant maken
Begin met je huidige agentconfiguratie en maak een nieuwe branch. Wijzig alles wat je wilt — systeemprompt, workflow, stem, tools, kennisbank, richtlijnen of evaluatiecriteria. Elke wijziging wordt bijgehouden als een geversioneerde configuratie.
Ga naar het tabblad Branches in je agentinstellingen en klik op Create branch.
Verkeer routeren
Bepaal welk percentage van livegesprekken naar je variant moet gaan. Begin klein (5–10%) om risico’s te beperken en verhoog dit vervolgens naarmate je meer vertrouwen krijgt.
Klik op Edit traffic split en stel de percentages voor elke branch in. De percentages moeten samen precies 100% zijn.
Impact meten
Vergelijk de prestaties van de variant met je basislijn via het analytics-dashboard. Klik in het branchespaneel op See analytics om rechtstreeks naar een weergave te gaan die op een branch is gefilterd.
Teams kunnen resultaten meten zoals:
- CSAT
- Afhandelingsgraad
- Conversie
- Gemiddelde afhandelingstijd
- Mediane responstijd van de agent
- Kosten per afhandeling door de agent
Verkeersroutering
Verkeer wordt procentueel verdeeld over branches. De routering is deterministisch op basis van de gespreks-ID, zodat dezelfde gebruiker in verschillende sessies steeds bij dezelfde branch terechtkomt.
Standaard wordt verkeer willekeurig verdeeld over de gebruikersgroep. Als je de API gebruikt om gesprekken te starten, kun je specifieke cohorten naar specifieke branches routeren door te bepalen met welke branchconfiguratie gesprekken worden gestart.
Alle verkeerspercentages moeten samen precies 100% zijn. Een implementatie mislukt als dat niet zo is.
Toepassingen
Experimenten ondersteunen continue optimalisatie van klantgerichte en operationele workflows.
Elk experiment is gekoppeld aan een specifieke agentversie, zodat elke prestatieverandering kan worden toegeschreven aan een vastgelegde configuratiewijziging.
Wat je kunt testen
Elk onderdeel van de agentconfiguratie kan per branch verschillen:
Best practices
Begin met een hypothese
Bepaal wat je verwacht te verbeteren en hoe je dit meet voordat je een variant maakt. Bijvoorbeeld: “Door in de escalatieprompt een samenvatting van het probleem op te nemen, verbetert ons evaluatiecriterium voor afhandelingsgraad met 10%.”
Wijzig één ding tegelijk
Door één variabele te isoleren, is duidelijk wat een prestatieverschil heeft veroorzaakt. Als je tegelijkertijd de prompt, stem en workflow wijzigt, weet je niet welke wijziging het resultaat veroorzaakte.
Stel eerst evaluatiecriteria in
Configureer criteria voor succes- evaluatie voordat je experimenten uitvoert. Deze bieden de gestructureerde metrics die je nodig hebt om varianten objectief te vergelijken.
Begin met kleine verkeerspercentages
Begin met 5–10% van het verkeer op de variant. Dit beperkt de blootstelling als er iets misgaat, terwijl je toch betekenisvolle gegevens verzamelt.
Geef experimenten voldoende tijd
Laat voldoende gesprekken verzamelen voordat je conclusies trekt. Kleine steekproeven leiden tot onbetrouwbare resultaten. Houd het analytics-dashboard in de gaten en wacht tot trends stabiliseren.
Houd experimenten kortdurend
Voeg experimenten snel samen of verwijder ze. Langlopende branches zijn moeilijker samen te voegen en kunnen afwijken van de hoofdconfiguratie.