Expressieve modus

Overzicht

Met de expressieve modus kunnen agents spraak leveren die intentie, emotie en nadruk weerspiegelt, en zich in realtime aanpassen aan hoe gebruikers klinken en wat ze zeggen. De modus is gebaseerd op twee verbeteringen op systeemniveau in de conversationele stack:

1. Eleven v4 Turbo — het meest emotioneel intelligente, contextbewuste Text to Speech-model dat beschikbaar is in ElevenAgents.
2. Een nieuw beurtwisselingssysteem — nauwkeuriger getimede reacties met minder onderbrekingen.

De expressieve modus wordt automatisch ingeschakeld wanneer je Eleven v4 Turbo als TTS-model van je agent selecteert.

Eleven v4 Turbo

Eleven v4 Turbo is de realtimevariant van Eleven v4, met een mediane latentie van ~100 ms, geoptimaliseerd voor live dialogen heen en weer. Het behoudt de gesprekscontext tussen beurten en past de overdracht aan de toon en intentie van elke uitwisseling aan.

• Contextbewuste overdracht: Agents passen hun toon aan op basis van de gesprekscontext — ze reageren rustiger wanneer een gebruiker bezorgd klinkt, of directer wanneer duidelijkheid belangrijk is.
• Expliciete emotionele controle: Stuur de overdracht met regels in de system prompt, van specifieke triggers tot bredere scenario’s, zodat deze aansluit bij je merkstem en compliancevereisten.
• Ondersteuning voor meer dan 90 talen: Uitgebreid van ~32 talen in Flash-modellen.
• Expressieve tags: De LLM kan tags zoals [laughs], [whispers] of [sighs] uitvoeren om specifieke momenten in de overdracht te sturen.

Beurtwisselingssysteem

Het nieuwe beurtwisselingssysteem gebruikt realtime signalen van Scribe v2 Realtime — waaronder emotionele aanwijzingen en spraakpatronen — om te bepalen wanneer een agent moet spreken, pauzeren of wachten. Hierdoor kunnen agents natuurlijker reageren, vooral in emotioneel beladen situaties.

“Ja” kan bijvoorbeeld een volledige bevestiging zijn of een inleiding om door te spreken. Door naast het transcript ook te analyseren hoe het werd gezegd (spraakaanwijzingen zoals prosodie), timet het systeem de reactie van de agent natuurlijker.

Je kunt het beurtwisselingsgedrag verder afstemmen met de instelling beurtbereidheid.

Configuratie

Expressieve modus inschakelen

Voorbeelden van system prompts

Stuur de emotionele overdracht van je agent met instructies in natuurlijke taal in de system prompt. Het model interpreteert deze contextueel, dus expliciete tags zijn niet voor elke situatie vereist.

Algemene richtlijnen

You are a customer support agent. When a user sounds frustrated or upset, respond
in a calm, reassuring tone. When delivering good news, allow your tone to reflect
genuine warmth. Maintain a professional but approachable delivery throughout.

Specifieke triggers

You are a conversational AI agent with expressive speech capabilities.
Tone guidelines:
- When a user expresses frustration, use a calm and empathetic tone
- When explaining technical steps, use a clear and measured pace
- When a user shares good news, respond with warmth and enthusiasm
- When handling complaints, remain composed and solution-oriented

Expressieve tags gebruiken

Naast contextbewuste overdracht kan de LLM expliciete tags uitvoeren om specifieke momenten te sturen. Veelvoorkomende tags zijn:

• [laughs] — Voegt gelach toe aan de spraak
• [whispers] — Verlaagt het volume om te fluisteren
• [sighs] — Voegt een zuchtende kwaliteit toe
• [slow] — Vertraagt de spraakoverdracht
• [excited] — Voegt enthousiasme toe aan de overdracht

Elke tag beïnvloedt ongeveer de volgende 4-5 woorden van de spraak voordat de normale overdracht terugkeert.

You can also use expressive tags in your responses for precise control:
- [laughs] for moments of humor
- [whispers] for confidential or intimate moments
- [sighs] for resignation or relief
- [slow] when emphasizing important information
Example: "That's great to hear! [laughs] I'm glad we could sort that out for you."

Best practices

Beperkingen

Veelgestelde vragen

Gerelateerde functies