Terugblik op webinar: hoe een van Europa's grootste verzekeraars AI-agenten in productie bracht

Verzekeringsklanten bellen zelden als alles goed gaat. Ze bellen na een ongeluk, om een claim in te dienen of midden in een echte crisis. Dat gesprek bepaalt alles wat daarna komt en is vaak de enige echte interactie die een klant met de verzekeraar heeft.

Admiral voert elk jaar miljoenen van deze gesprekken in het VK, Italië, Frankrijk en Spanje. Nu gebruiken ze AI-agents om daarbij te helpen en tegelijk compliant te blijven. 

In dit webinar vertelde het team van Admiral ons hoe ze dat hebben aangepakt: een eerste use case kiezen, legal en compliance vanaf dag nul erbij betrekken en van een werkend prototype naar wijzigingen in productie gaan die nu binnen uren in plaats van weken worden uitgerold.

Belangrijkste punten

• Begin klein, maar wel met een echte use case. De eerste use case van Admiral in productie, aflossingsopgaven voor de kredietverlening in het VK, was voldoende afgebakend om binnen een realistische termijn uit te rollen, maar omvatte nog steeds telefonie en backendintegraties. Genoeg om de architectuur te bewijzen zonder alles tegelijk te hoeven oplossen.
• Leg de lat hoger voordat je opschaalt, niet lager. Admiral bouwde vanaf dag één voor productie, herzag het governanceritme om mee te bewegen met het tempo van de technologie en betrok legal en compliance vanaf dag nul met een duidelijk afgebakende pilot.
• Regelgeving is de ondergrens, niet het hele ontwerp. Admiral voegt eigen interne regels toe aan wat de regelgeving vereist, gebruikt deterministische logica voor alles wat aantoonbaar moet zijn en leidt kwetsbare of overstuur geraakte klanten door naar menselijke agents.
• In productie begint het echte werk. Elke wijziging aan een agent wordt getest met een volledige simulatie-testsuite en uitgerold van 1 procent naar 100 procent van het verkeer, een cyclus die van weken naar uren is gegaan.

Begin klein, maar niet te klein

De eerste use case van Admiral in productie was het geven van aflossingsopgaven voor de kredietverlening in het VK, bewust een gecontroleerd startpunt in plaats van het lastigste probleem op de lijst. Kampa omschreef de aanpak als eerst experimenteren met één land en één bedrijfsonderdeel, voordat er werd uitgebreid.

Volgens Neely is dit het patroon dat implementaties die productie bereiken onderscheidt van implementaties die vastlopen: de use case moet klein genoeg zijn om binnen een realistische termijn op te lossen, maar complex genoeg om de omringende systemen echt te gebruiken. Aflossingsopgaven werkten omdat het gesprek een beperkt aantal mogelijke paden kent, maar toch telefonie en backendintegraties omvat, voldoende om de architectuur te bewijzen zonder alles tegelijk te willen oplossen.

Een paar zaken waren belangrijk bij die keuze:

• Afgebakende scope, echte complexiteit. De use case moet genoeg variatie bieden om telefonie en backendintegratie te testen, niet alleen een gescript ideaal scenario.
• Snel naar productie. Hoe langer een build in ontwikkeling blijft, hoe langer het duurt voordat echte gesprekken de feedback opleveren die de agent daadwerkelijk verbetert. Neely noemde dit „de laatste 20 procent”, het deel dat pas zichtbaar wordt zodra echte klanten met het systeem praten.
• Volume en impact samen. Admiral begon met eenvoudige interacties met een hoog volume, waarbij kortere wachttijden en snellere afhandeling een zichtbaar verschil zouden maken voor de klantervaring.

Leg de lat hoger, niet lager, voordat je opschaalt

De leiding van Admiral was er duidelijk over dat AI-agents de lat voor compliance en testen hoger moeten leggen, niet lager. Kampa zei het direct: de validatiestandaard moet strenger zijn dan voorheen, omdat het risico dat een agent van het script afwijkt of een regel overtreedt fundamenteel anders is dan wanneer een menselijke agent een afweging maakt.

Die standaard kwam terug in drie toezeggingen die het team al vroeg deed:

• Bouw voor productie, niet voor een proof of concept. Kampa vertelde haar teams vanaf dag één te ontwerpen met livegang als doel, in plaats van een klein experiment uit te voeren dat nooit opschaalt.
• Governance die meebeweegt met het tempo van de technologie. Kampa merkte op dat een governanceproces dat zes maanden nodig heeft om iets goed te keuren, het risico loopt technologie goed te keuren die al verouderd is tegen de tijd dat die wordt uitgerold. Admiral paste het ritme van de reviews aan op de snelheid waarmee de onderliggende modellen en tooling veranderden.
• Legal en compliance vanaf dag nul. Op de vraag wanneer legal en compliance bij het project betrokken raakten, antwoordden Kampa en Clark allebei meteen: dag nul, met een duidelijk afgebakende pilot (een vastgesteld aantal gesprekken) in plaats van een open verzoek om goedkeuring.

Laat regelgeving de ondergrens bepalen, niet het hele ontwerp

Clark maakte duidelijk dat wettelijke vereisten, zoals een klant vertellen dat die met AI spreekt en in sommige rechtsgebieden de mogelijkheid bieden om naar een mens door te schakelen, verschillen tussen het VK, Italië, Frankrijk en Spanje. Admiral bouwde zijn agents om met die verschillen om te gaan, zonder een beller via „escalatie” uit een gesprek te laten komen dat gewoon kan worden afgehandeld.

Bepaalde gesprekken worden helemaal niet door de agent gevoerd: Admiral leidt kwetsbare of overstuur geraakte klanten door naar menselijke agents. De AI is getraind om de signalen te herkennen die deze overdracht in gang zetten.

Kampa omschreef de bredere aanpak als gelaagd: „Regelgeving is slechts de ondergrens”, met daarbovenop de eigen interne regels en culturele normen van Admiral, die soms verder gaan dan de regelgeving vereist.

Die gelaagdheid bepaalde ook waar Admiral deterministische en niet-deterministische logica gebruikte. Clark legde uit dat niet-deterministisch redeneren goed geschikt is om de intentie van een beller te begrijpen of stress te herkennen, terwijl alles wat het bedrijf aantoonbaar moet kunnen maken, een verplichte wettelijke mededeling of een traject dat de klant moet volgen, deterministisch moet verlopen, zonder enige ruimte voor de agent om te improviseren.

Neely beschreef hoe de workflowstructuur van ElevenLabs dit in de praktijk ondersteunt: agents zijn opgebouwd uit een reeks gespecialiseerde subagents, met deterministische poorten, zoals authenticatie, die functionaliteit vrijgeven of blokkeren afhankelijk van of aan een voorwaarde is voldaan, in plaats van het model zelf te laten afleiden wat het wel en niet mag doen.

Bouw samen met de mensen die eigenaar zijn van het proces

In plaats van een traditionele overdracht tussen bedrijfsvereisten en een engineeringbuild, organiseerden Admiral en ElevenLabs workshops op locatie waarin de mensen die de use case kenden, het engineeringteam en het telefonieteam samen in één ruimte kwamen. Neely vertelde dat de eerste workshop binnen vier of vijf uur een werkende v0 van de agent opleverde, gekoppeld aan de backend en telefonie. Kampa en Clark konden die vervolgens intern demonstreren om toestemming te krijgen om verder te bouwen.

Clark zei dat deze nabijheid ook na het eerste prototype belangrijk bleef: proceseigenaren staan nu dicht genoeg bij de technologie om sommige wijzigingen zelf door te voeren, omdat de workshop het platform behandelde als een manier om een bestaand bedrijfsproces over te brengen, in plaats van een onbekend nieuw proces te introduceren. Kampa koppelde dit breder aan verandermanagement: leidinggevenden, middenmanagers en medewerkers in de frontlinie vroeg bij het proces betrekken, zodat de technologie onderdeel wordt van hoe het bedrijf daadwerkelijk werkt en geen losstaand project blijft.

In productie begint het echte werk

Zodra het live staat, behandelt Admiral elke wijziging aan een agent, groot of klein, op dezelfde manier: als een branch die wordt uitgevoerd met een volledige simulatie-testsuite voordat die klanten bereikt. Clark beschreef hoe een uitrol begint met 1 procent van het verkeer, waarbij klanttevredenheid en afhandelingsmetrics realtime worden gevolgd, en wordt uitgebreid naar 100 procent zodra de cijfers stabiel blijven. Een cyclus die van weken naar uren is gegaan.

Twee lessen sprongen eruit uit dat iteratieproces:

• Lokaliseer de taal, niet alleen de woorden. Admiral schreef aanvankelijk alle prompts en workflows in het Engels en ontdekte dat de prestaties in Frankrijk, Spanje en Italië niet overeenkwamen met die in het VK. Door de prompts oorspronkelijk in de taal van elke markt te schrijven, in plaats van ze vanuit het Engels te vertalen, ontstonden reacties die aansloten bij lokale klantverwachtingen en cultuur.
• Neem simulatietests serieus, behandel ze niet als formaliteit. Neely zei dat een prompt schrijven die een handvol gesimuleerde tests doorstaat eenvoudig lijkt, maar dat het lastigere en belangrijkere werk bestaat uit het bouwen van testsuites die de agent echt onder druk zetten en het vooraf vastleggen van duidelijke succescriteria. Admiral voert nu vóór elke uitrol honderden tot duizenden gesimuleerde gesprekken uit voor elke wijziging.

Wat de resultaten betreft, wees Kampa op de afhandelingstijd als belangrijkste metric: gesprekken onder leiding van AI komen vaak sneller tot dezelfde oplossing dan gesprekken met menselijke agents, deels omdat er geen stiltes vallen terwijl een systeem laadt. Ze zag ook dat CSAT en oplossingspercentages stap voor stap stegen, markt voor markt, door herhaalde rondes van testen en aanpassingen in plaats van één grote sprong.

Wat je hiervan kunt meenemen als je begint

Neely's advies aan teams die hiermee beginnen: kies één goed afgebakende use case, breng die snel naar productie en laat echte klantgesprekken, niet meer tests vóór de livegang, de edge cases vinden. Clark voegde eraan toe dat zodra de integraties aan beide kanten (telefonie en interne systemen) zijn bewezen, het opschalen naar aanvullende use cases steeds sneller gaat, omdat het team al weet welke evaluaties en metrics ertoe doen.

Kampa's slotpunt keek verder vooruit: de ambitie gaat verder dan het automatiseren van gesprekken. Dezelfde AI-laag moet menselijke agents ook rechtstreeks ondersteunen, met live transcripties, prompts voor de beste volgende actie en trainingssimulaties.

Zoals onze host samenvatte, is de rode draad in dit gesprek dat regelgeving en AI niet met elkaar op gespannen voet staan. Door vanaf dag één te bouwen met het oog op controleerbaarheid, consistentie en doorschakeling naar mensen, werden de agents van Admiral juist gedisciplineerder.

Bekijk de volledige sessie

Bekijk hier de volledige sessie, inclusief de live build en vragen en antwoorden met het publiek.