Succesbeoordeling
Met succesevaluatie kun je aangepaste doelen en successtatistieken voor je gesprekken definiëren. Elk criterium wordt beoordeeld aan de hand van het gesprekstranscript en geeft een resultaat van success, failure of unknown, samen met een gedetailleerde onderbouwing.
Overzicht
Succesevaluatie gebruikt analyse op basis van LLM’s om de gesprekskwaliteit te beoordelen aan de hand van je specifieke bedrijfsdoelen. Zo kun je de prestaties systematisch meten en de kwaliteit van alle klantinteracties waarborgen.
Hoe het werkt
Elk evaluatiecriterium analyseert het gesprekstranscript met een aangepaste prompt en geeft het volgende terug:
- Resultaat:
success,failureofunknown - Onderbouwing: Gedetailleerde uitleg waarom dit resultaat is gekozen
Typen evaluatiecriteria
Criteria op basis van doelprompts
Criteria op basis van doelprompts sturen het gesprekstranscript samen met een aangepaste prompt naar een LLM om te controleren of een specifiek doel is behaald. Dit is het flexibelste evaluatietype en kan worden gebruikt voor complexe bedrijfslogica.
Voorbeelden:
- Beoordeling van klanttevredenheid
- Verificatie van probleemoplossing
- Controle op naleving
- Validatie van aangepaste bedrijfsregels
Configuratie
Open de agentinstellingen
Ga naar het dashboard van je agent en selecteer het tabblad Analyse om evaluatiecriteria te configureren.
Evaluatiecriteria toevoegen
Klik op Evaluatie toevoegen om een nieuw evaluatiecriterium te maken of om er een toe te voegen vanuit de analysebibliotheek van je workspace.
Definieer je criterium met:
- Naam: Een naam voor het criterium (bijvoorbeeld: Gebruiker was niet overstuur)
- Beschrijving: Gedetailleerde prompt die beschrijft wat moet worden geëvalueerd
Per agent kun je maximaal 30 evaluatiecriteria instellen.
Best practices
Effectieve evaluatieprompts schrijven
- Wees specifiek over wat succes en falen inhoudt
- Neem randgevallen en voorbeelden op in je prompt
- Gebruik waar mogelijk duidelijke, meetbare criteria
- Test je prompts met verschillende gespreksscenario’s
Veelvoorkomende evaluatiecriteria
- Klanttevredenheid: “Markeer als succesvol als de klant tevredenheid uit of het probleem is opgelost” - Doel voltooid: “Markeer als succesvol als de klant de gevraagde actie heeft voltooid (boeking, aankoop enzovoort)” - Naleving: “Markeer als succesvol als de agent alle vereiste nalevingsprocedures heeft gevolgd” - Probleemoplossing: “Markeer als succesvol als het technische probleem van de klant tijdens het gesprek is opgelost”
Omgaan met dubbelzinnige resultaten
Het resultaat unknown wordt teruggegeven wanneer de LLM op basis van het transcript geen succes of falen kan vaststellen. Dit gebeurt vaak bij:
- Onvolledige gesprekken
- Dubbelzinnige reacties van klanten
- Ontbrekende informatie in het transcript
Houd resultaten met unknown in de gaten om gebieden te identificeren waar je criteriumprompts mogelijk verfijning nodig hebben.
Toepassingen
Problemen oplossen
Evaluatiecriteria geven onverwachte resultaten terug
- Controleer je prompt op duidelijkheid en specificiteit
- Test met voorbeeldgesprekken om de logica te valideren
- Houd rekening met randgevallen in je evaluatiecriteria
- Controleer of het transcript voldoende informatie bevat voor evaluatie
Veel resultaten met 'unknown'
- Zorg dat je prompts specifiek aangeven naar welke informatie moet worden gezocht - Overweeg of gesprekken voldoende context bevatten voor evaluatie - Controleer de kwaliteit en volledigheid van het transcript - Pas de criteria aan om veelvoorkomende randgevallen af te handelen
Prestatieoverwegingen
- Elk evaluatiecriterium voegt verwerkingstijd toe aan de gespreksanalyse
- Complexe prompts kunnen meer tijd kosten om te evalueren
- Overweeg de afweging tussen uitgebreide analyse en reactietijd
- Houd je gebruik in de gaten om te optimaliseren voor je specifieke behoeften
Resultaten van succesevaluaties zijn beschikbaar via webhooks na het gesprek voor integratie met externe systemen en analyseplatforms.