Webinar-terugblik: AI-agents bouwen die natuurlijk klinken

De meeste teams willen een agent bouwen die natuurlijk klinkt.

Wat de meeste teams in de praktijk zien, zijn agents die de taak voltooien, maar geen context, urgentie of emotie begrijpen. Zodra een beller dat merkt, daalt het vertrouwen en daarmee ook de kwaliteit van de interactie.

In onze recente Live Workshop: AI-agents bouwen die natuurlijk klinken, liet Luigi Sambuy (Forward Deployed Engineering) zien wat een robotachtig klinkende agent onderscheidt van een agent die echt menselijk aanvoelt.

Waarom natuurlijk klinken moeilijker is dan het lijkt

De meeste teams die agents implementeren, hebben de nauwkeurigheid al opgelost: de agent geeft het juiste antwoord, reserveert de juiste tafel en annuleert de juiste vlucht. 

Wat moeilijker is, is om de manier waarop het wordt gebracht goed te krijgen.

Een agent die de emotie van een beller niet weerspiegelt, geen urgentie oppikt en elke vraag in hetzelfde vlakke ritme beantwoordt, komt altijd kunstmatig over, hoe correct de antwoorden ook zijn. Klanten willen niet alleen dat hun probleem wordt opgelost — ze willen zich ook gehoord voelen terwijl dat gebeurt.

De vier kenmerken van een natuurlijk klinkende agent

1. Ritme en flow - natuurlijk tempo, pauzes en snelheidsvariatie in plaats van een monotone voordracht
2. Spiegelen - met betrokkenheid reageren op een gefrustreerde beller en met warmte op goed nieuws
3. Context - gebruikersgeschiedenis, bedrijfssystemen en culturele of regionale signalen gebruiken, zodat antwoorden niet algemeen blijven
4. Identiteit - een stem die echt voor het merk is gemaakt, geen standaardstem van de plank

Demo: een natuurlijk klinkende agent in actie

Scenario: Een klant belt Rosette Restaurant om een reservering te verzetten. Het is hun vijfde trouwdag en ze zijn te laat.

Wat wordt getoond:

• De agent opende hartelijk en benoemde de trouwdag voordat die iets anders deed
• De agent merkte een klein verschil op tussen de genoemde reserveringstijd en wat daadwerkelijk was geboekt, en vroeg om verduidelijking in plaats van te gokken
• De agent verplaatste de reservering naar 21.00 uur en bood proactief een tafel bij het raam aan voor de gelegenheid, zonder dat daarom werd gevraagd
• Tijdens het hele gesprek gebruikte de agent natuurlijke pauzes, stopwoordjes en een toon die zich aanpaste aan het moment: geruststellend, warm en ongedwongen

Waarom dit belangrijk is: Dit kwam niet door een ander model of een krachtiger platform. Het kwam door de prompt. De system prompt gaf de agent toestemming om zichzelf midden in een zin te corrigeren, natuurlijk af te dwalen tijdens het "opzoeken van iets" en de emotionele toon aan te passen aan de beller — technieken die vandaag beschikbaar zijn voor elk team dat op het platform bouwt.

Zeven bouwstenen voor natuurlijke agents

1. Emotionele tags - beschikbaar in de expressive mode van het conversationele v3-model en Eleven v4; de belangrijkste mogelijkheid voor variatie in toon
2. Achtergrondgeluid - kantoorambiance, stadsgeluiden of typgeluiden voor een vertrouwdere, menselijkere context
3. Toon in de system prompt - hier zit in de praktijk het grootste verschil
4. Eagerness-instellingen (eager / normal / patient) - afgestemd op hoeveel tijd de interactie nodig heeft
5. Uitspraakwoordenboek / keywords - voor namen, merken en buitenlandse woorden die de agent anders verkeerd zou uitspreken. 
6. Outputinstellingen - sommige teams voegen bewust rinkelende telefoons op de achtergrond toe in plaats van kraakheldere audio, omdat klanten die overstappen vanaf een traditioneel contactcenter gewend zijn aan die wat gedempte toon
7. Voice Design of klonen - een volledig aangepaste stem bouwen die bij je merk past, in plaats van een standaardstem te kiezen. Met Voice Design kun je een prompt geven voor iets specifieks (bijv. "een man van in de dertig die klinkt alsof hij via een headset spreekt"). Voice Cloning loopt uiteen van een instant clone (ongeveer 30 seconden audio) tot een professional clone (meer materiaal, hogere kwaliteit). 

Best practices voor natuurlijk klinkende agents

Zet de toon rechtstreeks in de system prompt. Hier zit in de praktijk het grootste verschil tussen een vlakke en een natuurlijke agent. Geef de agent expliciet toestemming om zichzelf midden in een zin te corrigeren ("zoals mensen echt praten"), natuurlijk af te dwalen tijdens het opzoeken van iets en na iets ernstigs eerst een stilte te laten vallen voordat die reageert.

Stem emotionele tags af op het moment. Een tag als "excited" past niet bij een serieus of risicovol moment. Plaats tags bewust op de plekken waar ze daadwerkelijk in het gesprek voorkomen, en pas ze aan de emotionele toestand van de beller aan naarmate het gesprek vordert (bijv. kalm en geruststellend voor een angstige beller tegenover snel maar warm voor iemand die haast heeft).

Stel eagerness bewust in. Eager werkt voor vlotte uitwisselingen met veel informatie; patient werkt wanneer iemand tijd nodig heeft om een document of nummer op te zoeken. Overal standaard eager gebruiken kan een agent opdringerig in plaats van natuurlijk laten aanvoelen.

Kies je LLM per node. Gebruik lichtere, snellere modellen voor eenvoudige routeringsstappen en krachtigere modellen voor nodes die echte beslissingen nemen. 

Beschouw ervaren latentie als onderdeel van "natuurlijk". Naast de modelkeuze verkorten zowel speculatieve turngeneratie (waarbij het model al een antwoord begint te vormen terwijl de beller nog spreekt) als opvulwoorden bij een soft timeout hoe lang een pauze aanvoelt, zelfs wanneer de daadwerkelijke responstijd niet is veranderd.

Lokaliseer in plaats van te vertalen. Kies stemmen die echt zijn getraind in de doeltaal, gebruik een uitspraakwoordenboek, en overweeg voor use cases met één taal om de prompt zelf in die taal te schrijven voor betere prestaties. Multilingual v2 blijft een goede optie wanneer lage latentie in verschillende talen belangrijker is dan expressief bereik.

Monitor je agent. Gebruik simulatietests om een agent zonder live gesprekken te valideren, evaluatiecriteria voor pass/fail-beoordeling na een gesprek en sentimentanalyse per beurt om precies te zien waar in een gesprek een agent de verkeerde toon gebruikte. Gebruik dat signaal vervolgens om de prompt bij te stellen.

Bekijk de volledige sessie

Bekijk het volledige webinar hier.