Een conversationeel AI-systeem prompten

Tegenwoordig vormt de LLM het kloppende hart van conversationele AI-systemen. LLM's maken met name conversationele AI — oorspronkelijk opgebouwd rond uitgebreide telefoonmenu's — dynamischer en bieden mensachtige ervaringen. LLM's zijn echter geen wondermiddel; ze vereisen gespecialiseerde prompts, omdat ze niet standaard zijn gefinetuned voor menselijke spraak.

Ontwikkelaars maken vaak dezelfde fout wanneer ze LLM's prompten voor conversationele AI: ze hergebruiken dezelfde aanpak die werd gebruikt om menselijke medewerkers te trainen. Hoewel deze strategie eenvoudig klinkt, werpt ze zelden vruchten af. LLM's doen andere aannames dan mensen doorgaans doen, en hun standaardtoon en -reikwijdte lenen zich niet voor mondelinge interacties.

Vandaag bekijken we wat we weten over het prompten van LLM's om succesvolle conversationele AI-systemen te bouwen. Je kunt ook een uitgebreidere en technischere gids over dit onderwerp lezen in de ElevenLabs Developer docs.

Het oude systeem

Vóór LLM's maakten conversationele AI-systemen gebruik van uitgebreide beslisbomen die verzoeken op basis van mondelinge invoer afhandelden. Deze opzet was populair bij klantenservicenummers (bijvoorbeeld luchtvaartmaatschappijen) en betalingssystemen (bijvoorbeeld telefoondiensten voor creditcards).

Deze oudere systemen waren traag, voelden robotachtig aan en konden slechts zeer beperkte menselijke invoer verwerken. De kans is groot dat je dit zelf hebt meegemaakt en botweg “JA” in een telefoon hebt geroepen om een prompt te beantwoorden. Door deze slechte ervaring probeerden de meeste gebruikers het systeem te “verslaan” om met een echte menselijke medewerker te kunnen spreken.

Deze telefoonmenu's hadden echter een voordeel — ze waren afgebakend. Een gesprek kon maar een beperkt aantal paden volgen en ontwikkelaars konden eenvoudig guardrails implementeren om niet-toegestane invoer te negeren. Deze beperking ligt ten grondslag aan de voor- en nadelen van LLM's: ze reiken veel verder dan de beperkte aard van telefoonmenu's, maar zijn ook onvoorspelbaar en openen een doos van Pandora vol valkuilen — zoals onmogelijke beloftes doen, boos worden op klanten of gevoelige gegevens schenden.

De standaardtekortkomingen

Als LLM's simpelweg worden getraind met een handboek dat oorspronkelijk voor mensen is ontworpen, zullen ze door enkele fundamentele tekortkomingen matig presteren. Inzicht in deze tekortkomingen helpt je prompts te ontwerpen die ze aanpakken:

Mismatch in toon

LLM's worden getraind via reinforcement learning, waarbij menselijke feedback LLM's stimuleert om gestructureerde feedback te geven. LLM-antwoorden zijn vaak uitgebreid en staan vol opsommingstekens, uitgelichte blokken en koppen.

In de context van conversationele AI moeten LLM's echter de beknopte en minder gestructureerde aard van mondelinge interacties nabootsen.

Tekortkomingen in aannames

LLM's hebben de neiging om onbekende informatie met afgeleide kennis in te vullen in plaats van vragen te stellen. Daardoor kunnen ze onjuiste aannames doen die gebruikers misleiden of tot kostbare fouten leiden, zoals toegezegde terugbetalingen. Later zien we hoe we met een kennisbank en guardrails LLM's beter kunnen onderbouwen, zodat ze geen onjuiste beloftes doen en geen niet-toegestane acties uitvoeren.

Latentie

LLM's kunnen programmatisch function calls uitvoeren en namens mensen gegevens ophalen en opslaan. Hoewel dit doorgaans een van de grootste voordelen van LLM's is, betekent het ook dat eerdere trainingsinstructies, waarmee telefoonmedewerkers tijdens taken “tijd konden winnen”, niet langer nodig zijn. Function calls zijn echter ook niet direct klaar. Daarom moeten LLM's de gebruiker nauwkeurig waarschuwen wanneer vertraging wordt verwacht, bijvoorbeeld: “geef me even de tijd om je situatie te bekijken”.

Configuraties

Persoonlijkheid

LLM's zijn redelijk goed in het aanpassen van hun toon aan een stijl. Je kunt een LLM zo configureren dat die vriendelijk, humoristisch, beknopt, formeel of een combinatie van stijlen klinkt. Dit is belangrijke input bij het prompten van een LLM.

Ontwikkelaars van een conversationele AI-app voor klantenservice die ontevreden klanten van luchtvaartmaatschappijen ondersteunt, kunnen bijvoorbeeld een prompt als deze gebruiken:

Indeling

LLM's moeten expliciete instructies krijgen over hoe ze moeten antwoorden. Om te voorkomen dat ze extra opvultekst toevoegen, moet je LLM's een structuur geven die het antwoord voor de gebruiker omvat.

Je kunt LLM's bijvoorbeeld de volgende prompt geven:

Deze structuur stimuleert de LLM om een antwoord te geven dat is bedoeld om hardop te worden uitgesproken.

LLM's kunnen echter soms moeite hebben met zaken die intuïtief niet van geschreven content lijken te verschillen. Een veelvoorkomend voorbeeld zijn getallen — een LLM kan een postcode zoals 10023 uitschrijven, waardoor het text-to-speech-model “tienduizend drieëntwintig” zegt. In plaats daarvan moet de LLM expliciet de instructie krijgen om de cijfers afzonderlijk uit te spreken en aan te geven wat ze betekenen, bijvoorbeeld: “De postcode is een nul nul twee drie.”

Temperatuur

Temperatuur is een cruciale parameter bij het configureren van LLM's voor conversationele AI. Een lagere temperatuur levert meer gerichte, deterministische antwoorden op die ideaal zijn voor taakgerichte gesprekken, terwijl hogere temperaturen creatievere en gevarieerdere antwoorden opleveren.

Een lage temperatuur is ideaal voor conversationele AI-systemen die consistente antwoorden moeten geven, zoals een klantenservicelijn voor terugbetalingen. Voor systemen die klanten juist een aantrekkelijkere en realistische ervaring willen bieden, zoals een digitale coach, is een hoge temperatuur beter:

Kennisbanken

Voor conversationele AI-systemen die gebruikmaken van grotere kennisbronnen, kun je een kennisbank inzetten om de lengte van de prompt te beperken. In productie gebeurt dit doorgaans via een vectordatabase, zoals Pinecone of Elasticsearch, of de directe kennisopslag van de LLM-provider.

Over het algemeen zijn kennisbanken essentieel om LLM-antwoorden te baseren op feitelijke, goedgekeurde informatie. Wanneer je een conversationeel AI-systeem bouwt, moet je de LLM voorzien van een uitgebreide kennisbank met nauwkeurige, actuele informatie over producten, diensten, beleidsregels en procedures. Zo voorkom je dat de LLM hallucineert of informatie verzint, en stimuleer je consistente en betrouwbare antwoorden in gesprekken.

Proces

Omdat LLM's vaak namens de gebruiker functies uitvoeren, moeten ze ook weten welke invoer expliciet nodig is. Als een LLM bijvoorbeeld een gebruiker helpt een afspraak voor een knipbeurt te maken, moet die ervoor zorgen dat deze informatie beschikbaar is:

1. De naam van de gebruiker
2. De gewenste datum en tijd
3. Het adres van de gebruiker
4. De gewenste dienst van de gebruiker

Een naïeve implementatie kan ertoe leiden dat de LLM in één beurt van het gesprek om alle informatie vraagt. Als tekst is dat prima, maar in een gesprek kan het overweldigend zijn:

Omdat informatie doorgaans stapsgewijs via een gesprek wordt verzameld, moet je LLM's stimuleren deze informatie stukje voor stukje op te halen. Het resultaat is een veel natuurlijkere gesprekservaring:

Guardrails

Machtigingen

Wanneer je gedistribueerde systemen bouwt, ga je ervan uit dat je server op een bepaald moment uitvalt. Op dezelfde manier moet je er bij het bouwen van AI-systemen van uitgaan dat je LLM ooit een fout maakt. Om de impact van die fout te beperken, geef je deze systemen alleen de minimale machtigingen die nodig zijn voor de taak. Hieronder staan enkele manieren waarop je dat kunt doen:

• Stel lees-/schrijfmachtigingen correct in: als de LLM alleen informatie uit een gegevensbron hoeft te lezen, zorg dan dat die een read-only endpoint krijgt.
• Beperk toegang tot API-endpoints: als de LLM alleen toegang tot bepaalde endpoints nodig heeft, zorg dan dat die geen toegang heeft tot andere endpoints.
• Human-in-the-loop-escalaties: als een risicovolle actie moet worden uitgevoerd, overweeg dan een human-in-the-loop-workflow waarvoor “goedkeuring van een manager” nodig is voordat de actie wordt uitgevoerd.

Validatie en verificatie

Bij het maken van conversationele AI-stemagent-systemen die via tools acties uitvoeren, is het nuttig om een validatie- en verificatieproces in te bouwen. Zo weet je zeker dat je de juiste informatie van gebruikers verzamelt. Wanneer je tegenwoordig met een menselijke medewerker spreekt, herhaalt die alle cruciale informatie die je geeft om te controleren of deze juist is gehoord en of de klant zich niet heeft versproken. LLM's kunnen profiteren van een vergelijkbaar niveau van foutcontrole:

Voor validatie moet alle informatie die je van de klant ontvangt worden gecontroleerd aan de hand van de gebruikelijke structuur van die informatie. Heeft het telefoonnummer het juiste aantal cijfers? Valt de door de klant opgegeven leeftijd binnen een redelijk bereik? Heeft de klant een geldig adres opgegeven?

Afhankelijk van je use case kun je alle ontvangen informatie verifiëren, of alleen informatie die niet door de verificatie kwam. Daarnaast kun je kiezen of je elk gegeven verifieert zodra het binnenkomt, of alles aan het einde verifieert.

Tot slot

Een conversationeel AI-agent-systeem succesvol prompten betekent dat je de juiste configuraties en guardrails in balans brengt om een ervaring te creëren die een gesprek met een mens nabootst, maar dan efficiënter. Het proces is niet zo eenvoudig als een LLM prompten met oud trainingsmateriaal; LLM's zijn tools die een gespecialiseerde structuur en strategie nodig hebben om voorspelbare, effectieve resultaten te bieden.