Hoppa till navigering
Funktioner

Text till dialog

Lär dig skapa engagerande, naturligt klingande dialog med ElevenLabs.

Översikt

ElevenLabs API för Text till dialog skapar naturligt klingande, uttrycksfull dialog från text med Eleven v4 och Eleven v3. Vi rekommenderar Eleven v4. Vanliga användningsområden är:

  • Skapa perfekt tajmade samtal för videospel
  • Skapa engagerande dialog för poddar och annat ljudinnehåll
  • Ge ljudböcker liv med uttrycksfull berättarröst

Det kan krävas flera genereringar för att uppnå önskat resultat. När du integrerar Text till dialog i din applikation bör du överväga att skapa flera genereringar och låta användaren välja den bästa.

För att placera samtalet i en miljö, till exempel ett telefonsamtal, ett kafé eller en stor sal, skickar du med audio_effects i din begäran. Samma filterförinställningar, miljöer och bakgrundsljud som för ljudeffekter i Text to Speech gäller för hela dialogen. Dialogeffekter är endast tillgängliga via API:et.

Lyssna på ett exempel:

Utvecklare

Lär dig integrera text till dialog i din applikation.

Guide för promptning

Lär dig prompta uttrycksfull dialog med audiotaggar.

API-referens

Fullständig API-referens för slutpunkten Text till dialog.

Röstalternativ

ElevenLabs erbjuder tusentals röster genom flera olika metoder för att skapa dem. Eleven v4 har stöd för över 90 språk och Eleven v3 har stöd för över 70 språk.

Läs mer om våra röstalternativ.

Promptning

Modellerna tolkar känslomässig kontext direkt från textinmatningen. Att till exempel lägga till beskrivande text som “sa hon upphetsat” eller använda utropstecken påverkar talets känsla. Röstinställningar som Stability och Similarity hjälper till att styra konsekvensen, medan den underliggande känslan kommer från textledtrådar.

Läs guiden för promptning för mer information.

Känslomässiga framföranden med audiotaggar

Den här funktionen är fortfarande under aktiv utveckling och resultaten kan variera.

Eleven v4 och Eleven v3 låter dig använda ljudhändelser utan tal för att påverka hur dialogen framförs. Det gör du genom att infoga ljudhändelser i textinmatningen inom hakparenteser.

I Text till dialog har varje dialogtur sin egen text och röst. Lägg till audiotaggar i texten för den tur de ska påverka. voice_id väljer fortfarande talarens röst för den turen, medan taggarna styr framförandet.

En talare kan till exempel använda en röst medan texten börjar med [giggling], och nästa talare kan använda en annan röst medan texten börjar med [whispering]. Se snabbstarten för Text till dialog för ett API-exempel som kombinerar taggar med voice_id.

Audiotaggar är instruktioner på naturligt språk, inte en enum-parameter. Sätt instruktionen inom hakparenteser och placera den i texten där framförandet ska ändras. Exemplen nedan är inte uttömmande. Använd guiden för promptning för mer vägledning om effektiva taggar.

Audiotaggar finns i några olika former:

Känslor och framförande

Till exempel [sad], [laughing] och [whispering]

Ljudhändelser

Till exempel [leaves rustling], [gentle footsteps] och [applause].

Övergripande riktning

Till exempel [football], [wrestling match] och [auctioneer].

Några exempel:

"[giggling] That's really funny!"
"[groaning] That was awful."
"Well, [sigh] I'm not sure what to say."

Du kan också använda skiljetecken för att ange dialogens flöde, till exempel avbrott:

"[cautiously] Hello, is this seat-"
"[jumping in] Free? [cheerfully] Yes it is."

Ellipser kan användas för att markera meningar som tonar ut:

"[indecisive] Hi, can I get uhhh..."
"[quizzically] The usual?"
"[elated] Yes! [laughs] I'm so glad you knew!"

Standardformatet för svaret är mp3, men andra format som pcm och ulaw är tillgängliga.

  • MP3
    • Samplingsfrekvenser: 22.05kHz–44.1kHz
    • Bithastigheter: 32kbps–192kbps
    • 22.05kHz @ 32kbps
    • 44.1kHz @ 32kbps, 64kbps, 96kbps, 128kbps, 192kbps
  • PCM (S16LE)
    • Samplingsfrekvenser: 16kHz–44.1kHz
    • Bithastigheter: 8kHz, 16kHz, 22.05kHz, 24kHz, 44.1kHz, 48kHz
    • 16-bitars djup
  • μ-law
    • Samplingsfrekvens: 8kHz
    • Optimerat för telefoniapplikationer
  • A-law
    • Samplingsfrekvens: 8kHz
    • Optimerat för telefoniapplikationer
  • Opus
    • Samplingsfrekvens: 48kHz
    • Bithastigheter: 32kbps–192kbps

Ljudalternativ med högre kvalitet är endast tillgängliga i betalnivåer. Se vår prissida för mer information.

Språk som stöds

Eleven v4 har stöd för över 90 språk. Eleven v3 har stöd för över 70 språk. Se Eleven v4 och Eleven v3 för de fullständiga listorna.

Vanliga frågor

Text till dialog är tillgängligt för modellerna Eleven v4 och Eleven v3.

Ja. Du behåller äganderätten till allt ljud du genererar. Kommersiella användningsrättigheter är dock endast tillgängliga med betalplaner. Med en betald prenumeration kan du använda genererat ljud för kommersiella ändamål och tjäna pengar på utdata om du äger IP-rättigheterna till inmatningsinnehållet.

En kostnadsfri omgenerering låter dig generera samma text-till-tal-innehåll igen utan extra kostnad, under följande villkor:

  • Endast tillgängligt i ElevenLabs instrumentpanel.
  • Du kan generera om varje innehållsdel upp till två gånger utan kostnad.
  • Innehållet måste vara exakt samma som i föregående generering. Ändringar av texten, röstinställningarna eller andra parametrar kräver en ny, betald generering.

Kostnadsfria omgenereringar är användbara om ljudutdata har en mindre störning. Enligt ElevenLabs interna riktmärken löser omgenereringar ungefär hälften av kvalitetsproblemen, medan återstående problem vanligtvis beror på bristfälliga träningsdata.

Det finns ingen gräns för antalet talare i en dialog.

Modellerna är icke-deterministiska. Använd den valfria seed- parametern för bättre konsekvens, även om små skillnader fortfarande kan förekomma.

Håll den sammanlagda längden för alla inputs[].text-värden på högst 2 000 tecken per begäran för tillförlitlig generering. Dela upp längre text i delar och sammanfoga det resulterande ljudet i din applikation.

Viktiga fakta

  • Modeller: Tillgängligt med Eleven v4 och Eleven v3
  • Talare: Ingen gräns för antalet talare per dialog
  • Begäransstorlek: Håll den sammanlagda längden för alla inputs[].text-värden på högst 2 000 tecken per begäran
  • Determinism: Utdata är icke-deterministiska — använd parametern seed för mer konsekventa resultat
  • Kostnadsfria omgenereringar: Upp till två kostnadsfria omgenereringar per generering (samma innehåll, samma parametrar, endast i instrumentpanelen)
  • Äganderätt: Du behåller äganderätten till genererat ljud; kommersiell användning kräver en betald plan