Transkribering | ElevenLabs Documentation

Översikt

ElevenLabs Speech to Text (STT)-API omvandlar talat ljud till text med banbrytande precision. Vår Scribe v2-modell anpassar sig efter textledtrådar på över 90 språk och flera röststilar. Om du vill prova en livedemo kan du besöka vår sida med exempel på Speech to Text.

Produkter

Steg-för-steg-guide för att använda tal till text i ElevenLabs.

Utvecklare

Lär dig hur du integrerar API:t för tal till text i din applikation.

Tal till text i realtid

Lär dig hur du transkriberar ljud med ElevenLabs i realtid med WebSockets.

API-referens

Fullständig API-referens för Speech to Text-slutpunkten.

Företag som behöver HIPAA-efterlevnad måste kontakta ElevenLabs Sales för att underteckna ett Business Associate Agreement (BAA). Se till att detta är klart innan du fortsätter med HIPAA-relaterade integrationer eller driftsättningar.

Modeller

Scribe v2

Avancerad modell för taligenkänning

Exakt transkribering på över 90 språk

Promptning med nyckeltermer, upp till 1 000 termer

Entitetsidentifiering, 65 entitetstyper

Redigering av transkriptioner med instruktioner på naturligt språk

Exakta tidsstämplar på ordnivå

Talarseparering, upp till 32 talare

Dynamisk ljudtaggning

Smart språkidentifiering

Scribe v2 Realtime

Modell för taligenkänning i realtid

Exakt transkribering på över 90 språk

Transkribering i realtid

Låg fördröjning (~150ms†)

Exakta tidsstämplar på ordnivå

Entitetsidentifiering, 65 entitetstyper

Redigering av transkriptioner med instruktioner på naturligt språk

Scribe v2 Medical

Taligenkänning finjusterad för kliniskt ljud

35 % färre transkriberingsfel för kliniskt ljud än Scribe v2

Samma precision för vardagligt tal som Scribe v2

Samma funktioner, språk, priser och API som Scribe v2

Utforska alla

Exempel på API-svar

Följande exempel visar resultatet från Speech to Text API med Scribe v2-modellen för en exempelljudfil.

Visa fullständigt JSON-svar

{
  "language_code": "en",
  "language_probability": 1,
  "text": "With a soft and whispery American accent, I'm the ideal choice for creating ASMR content, meditative guides, or adding an intimate feel to your narrative projects.",
  "words": [
    {
      "text": "With",
      "start": 0.119,
      "end": 0.259,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.239,
      "end": 0.299,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "a",
      "start": 0.279,
      "end": 0.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.339,
      "end": 0.499,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "soft",
      "start": 0.479,
      "end": 1.039,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.019,
      "end": 1.2,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "and",
      "start": 1.18,
      "end": 1.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.339,
      "end": 1.44,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "whispery",
      "start": 1.419,
      "end": 1.979,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.959,
      "end": 2.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "American",
      "start": 2.159,
      "end": 2.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 2.699,
      "end": 2.779,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "accent,",
      "start": 2.759,
      "end": 3.389,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.119,
      "end": 4.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "I'm",
      "start": 4.159,
      "end": 4.459,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.44,
      "end": 4.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "the",
      "start": 4.5,
      "end": 4.599,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.579,
      "end": 4.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ideal",
      "start": 4.679,
      "end": 5.099,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.079,
      "end": 5.219,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "choice",
      "start": 5.199,
      "end": 5.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.699,
      "end": 6.099,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "for",
      "start": 6.099,
      "end": 6.199,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.179,
      "end": 6.279,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "creating",
      "start": 6.259,
      "end": 6.799,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.779,
      "end": 6.979,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ASMR",
      "start": 6.959,
      "end": 7.739,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 7.719,
      "end": 7.859,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "content,",
      "start": 7.839,
      "end": 8.45,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9,
      "end": 9.06,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "meditative",
      "start": 9.04,
      "end": 9.64,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9.619,
      "end": 9.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "guides,",
      "start": 9.679,
      "end": 10.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 10.359,
      "end": 10.409,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "or",
      "start": 11.319,
      "end": 11.439,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.42,
      "end": 11.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "adding",
      "start": 11.5,
      "end": 11.879,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.859,
      "end": 12,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "an",
      "start": 11.979,
      "end": 12.079,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.059,
      "end": 12.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "intimate",
      "start": 12.179,
      "end": 12.579,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.559,
      "end": 12.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "feel",
      "start": 12.679,
      "end": 13.159,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.139,
      "end": 13.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "to",
      "start": 13.159,
      "end": 13.26,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.239,
      "end": 13.3,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "your",
      "start": 13.299,
      "end": 13.399,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.379,
      "end": 13.479,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "narrative",
      "start": 13.479,
      "end": 13.889,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.919,
      "end": 13.939,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "projects.",
      "start": 13.919,
      "end": 14.779,
      "type": "word",
      "speaker_id": "speaker_0"
    }
  ]
}

Resultatet delas in i tre kategorityper:

word – Ett ord på ljudets språk
spacing – Mellanslaget mellan ord, gäller inte språk som inte använder mellanslag, till exempel japanska, mandarin, thailändska, lao, burmesiska och kantonesiska
audio_event – Icke-talade ljud, till exempel skratt eller applåder

Samtidighet och prioritet

Samtidighet är hur många förfrågningar som kan behandlas samtidigt.

För Speech to Text transkriberas filer som är längre än 8 minuter internt parallellt för att snabba upp bearbetningen. Ljudet delas upp i fyra segment som transkriberas samtidigt.

Du kan beräkna gränsen för samtidighet med följande beräkning:

Concurrency = \min(4, \text{round\_up}(\frac{\text{audio\_duration\_secs}}{480}))

En ljudfil på 15 minuter transkriberas till exempel med samtidighet 2, medan en ljudfil på 120 minuter transkriberas med samtidighet 4.

Beräkningen ovan gäller endast Scribe v2 och Scribe v2 Medical. För Scribe v2 Realtime, se diagrammet över samtidighetsgränser.

Avancerade funktioner

Nyckeltermsstyrning och redigering av transkript medför en extra kostnad. Se API-prissidan för detaljerad prisinformation.

Nyckeltermsstyrning

Nyckeltermsstyrning är tillgänglig med Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime.

Framhäv ord eller fraser för att styra modellen mot att transkribera dem. Detta är användbart för att transkribera specifika ord eller meningar som inte är vanliga i ljudet, till exempel produktnamn, namn eller andra specifika termer. Nyckeltermer är kraftfullare än vinklade nyckelord eller anpassade ordlistor som erbjuds av andra modeller, eftersom de använder kontexten för att avgöra om termen ska transkriberas eller inte. Batch stöder upp till 1 000 nyckeltermer (50 tecken vardera), medan realtid stöder upp till 50 nyckeltermer (20 tecken vardera).

Läs mer om hur du använder nyckeltermsstyrning i dokumentationen för nyckeltermsstyrning.

Icke-ordagrant läge

Icke-ordagrant läge är tillgängligt med Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime.

När no_verbatim är aktiverat tar modellen bort utfyllnadsord, felsägningar och talsvårigheter från transkriptet. Detta ger ett renare resultat som passar för undertexter, sammanfattningar eller andra användningsfall där läsbarhet är viktigare än att fånga varje yttrat ord.

Entitetsidentifiering

Entitetsidentifiering är tillgänglig med alla batchmodeller och Scribe v2 Realtime.

Batchmodeller och Scribe v2 Realtime kan identifiera flera kategorier av entiteter i transkriptet och ange deras exakta tidsstämplar. Detta är användbart för att markera kreditkortsnummer, namn, medicinska tillstånd eller personnummer.

En fullständig lista över entiteter som stöds finns i dokumentationen för entitetsidentifiering.

Redigering av transkript

Redigering av transkript är en experimentell funktion som är tillgänglig med alla batchmodeller och Scribe v2 Realtime.

Skicka en instruktion på naturligt språk med parametern transcript_edit, så tillämpas den på det färdiga transkriptet. Den redigerade texten returneras i edited_transcript tillsammans med originaltranskriptet, så tidsstämplar och talaretiketter förblir intakta. Detta är användbart för att normalisera hur datum, tider eller enheter skrivs, tillämpa en annan stil eller skriva om transkriptet i en enda förfrågan.

Läs mer i dokumentationen för redigering av transkript och guiden för redigering av transkript i realtid.

Språk som stöds

Scribe v2 har stöd för över 90 språk, bland annat:

Afrikaans (afr), amhariska (amh), arabiska (ara), armeniska (hye), assamesiska (asm), asturiska (ast), azerbajdzjanska (aze), belarusiska (bel), bengaliska (ben), bosniska (bos), bulgariska (bul), burmesiska (mya), kantonesiska (yue), katalanska (cat), cebuano (ceb), chichewa (nya), kroatiska (hrv), tjeckiska (ces), danska (dan), nederländska (nld), engelska (eng), estniska (est), filippinska (fil), finska (fin), franska (fra), fulani (ful), galiciska (glg), ganda (lug), georgiska (kat), tyska (deu), grekiska (ell), gujarati (guj), hausa (hau), hebreiska (heb), hindi (hin), ungerska (hun), isländska (isl), igbo (ibo), indonesiska (ind), iriska (gle), italienska (ita), japanska (jpn), javanska (jav), kapverdiska (kea), kannada (kan), kazakiska (kaz), khmer (khm), koreanska (kor), kurdiska (kur), kirgiziska (kir), lao (lao), lettiska (lav), lingala (lin), litauiska (lit), luo (luo), luxemburgiska (ltz), makedonska (mkd), malajiska (msa), malayalam (mal), maltesiska (mlt), mandarin (zho), maori (mri), marathi (mar), mongoliska (mon), nepalesiska (nep), nordsotho (nso), norska (nor), occitanska (oci), odia (ori), pashto (pus), persiska (fas), polska (pol), portugisiska (por), punjabi (pan), rumänska (ron), ryska (rus), serbiska (srp), shona (sna), sindhi (snd), singalesiska (sin), slovakiska (slk), slovenska (slv), somaliska (som), spanska (spa), swahili (swa), svenska (swe), tamil (tam), tadzjikiska (tgk), telugu (tel), thailändska (tha), turkiska (tur), ukrainska (ukr), umbundu (umb), urdu (urd), uzbekiska (uzb), vietnamesiska (vie), walesiska (cym), wolof (wol), xhosa (xho) och zulu (zul).

Översikt över språkstöd

Word Error Rate (WER) är ett viktigt mått för att utvärdera precisionen hos transkriberingssystem. Det mäter hur många fel som finns i ett transkript jämfört med ett referenstranskript. Nedan visas WER för varje språk som Scribe v2 stöder.

Utmärkt (≤ 5 % WER)

Belarusiska (bel), bosniska (bos), bulgariska (bul), katalanska (cat), kroatiska (hrv), tjeckiska (ces), danska (dan), nederländska (nld), engelska (eng), estniska (est), finska (fin), franska (fra), galiciska (glg), tyska (deu), grekiska (ell), ungerska (hun), isländska (isl), indonesiska (ind), italienska (ita), japanska (jpn), kannada (kan), lettiska (lav), makedonska (mkd), malajiska (msa), malayalam (mal), norska (nor), polska (pol), portugisiska (por), rumänska (ron), ryska (rus), slovakiska (slk), spanska (spa), svenska (swe), turkiska (tur), ukrainska (ukr) och vietnamesiska (vie).

Hög precision (>5 % till ≤10 % WER)

Armeniska (hye), azerbajdzjanska (aze), bengaliska (ben), kantonesiska (yue), filippinska (fil), georgiska (kat), gujarati (guj), hindi (hin), kazakiska (kaz), litauiska (lit), maltesiska (mlt), mandarin (cmn), marathi (mar), nepalesiska (nep), odia (ori), persiska (fas), serbiska (srp), slovenska (slv), swahili (swa), tamil (tam) och telugu (tel)

Bra (>10 % till ≤20 % WER)

Afrikaans (afr), arabiska (ara), assamesiska (asm), asturiska (ast), burmesiska (mya), hausa (hau), hebreiska (heb), javanesiska (jav), koreanska (kor), kirgiziska (kir), luxemburgiska (ltz), maori (mri), occitanska (oci), punjabi (pan), tadzjikiska (tgk), thailändska (tha), uzbekiska (uzb) och walesiska (cym).

Måttlig (>25 % till ≤50 % WER)

Amhariska (amh), ganda (lug), igbo (ibo), iriska (gle), khmer (khm), kurdiska (kur), lao (lao), mongoliska (mon), nordsotho (nso), pashto (pus), shona (sna), sindhi (snd), singalesiska (sin), somaliska (som), urdu (urd), wolof (wol), xhosa (xho), yoruba (yor) och zulu (zul).

Vanliga frågor

Kan jag använda API:t för tal till text med videofiler?

Ja, API:t stöder uppladdning av både ljud- och videofiler för transkribering.

Vilka gränser gäller för filstorlek och längd i Speech to Text API?

Filer på upp till 3 GB stöds. Längdgränserna beror på transkriberingsläget:

Standardläge (use_multi_channel=false): Upp till 10 timmar
Flerkanalsläge (use_multi_channel=true): Den sammanlagda längden för alla kanaler måste vara mindre än 10 timmar

Vilka ljud- och videoformat stöds i API:t?

API:t stöder följande ljud- och videoformat:

audio/aac
audio/x-aac
audio/x-aiff
audio/ogg
audio/mpeg
audio/mp3
audio/mpeg3
audio/x-mpeg-3
audio/opus
audio/wav
audio/x-wav
audio/webm
audio/flac
audio/x-flac
audio/mp4
audio/aiff
audio/x-m4a

Videoformat som stöds är bland annat:

video/mp4
video/x-msvideo
video/x-matroska
video/quicktime
video/x-ms-wmv
video/x-flv
video/webm
video/mpeg
video/3gpp

När kommer ni att stödja fler språk?

ElevenLabs utökar ständigt antalet språk som stöds av våra modeller. Kom gärna tillbaka ofta för uppdateringar.

Stöder API:t för tal till text webhooks?

Ja, asynkrona transkriberingsresultat kan skickas till webhooks som konfigurerats i webhook-inställningarna i gränssnittet. Läs mer i webhooks-guiden.

Stöds ett flerkanaligt transkriberingsläge i API:t?

Ja, den flerkanaliga STT-funktionen gör att du kan transkribera ljud där varje kanal bearbetas oberoende och tilldelas ett talar-ID baserat på kanalnumret. Funktionen stöder upp till 5 kanaler. Läs mer i guiden för flerkanalig transkribering.

Hur fungerar fakturering för API:t för tal till text?

ElevenLabs debiterar för tal till text baserat på längden på det ljud som skickas för transkribering. Debiteringen beräknas per ljudtimme, och priserna varierar beroende på nivå och modell. Se API-prissidan för detaljerad prisinformation.

Tystnad räknas in i den debiterade längden. Både batch- och realtidstranskribering mäts för varje sekund ljud du skickar, inklusive pauser och tysta avsnitt, och tystnad ger ingen rabatt.

Viktiga fakta

Inmatning som stöds: Både ljud- och videofiler accepteras
Maximal filstorlek: 3 GB
Maximal längd: 10 timmar (standardläge), 1 timme (flerkanalsläge)
Flerkanalsläge: Upp till 5 kanaler; varje kanal bearbetas oberoende med ett talar-ID som tilldelas efter kanalnummer
Webhooks: Asynkrona transkriberingsresultat kan levereras till en webhook – konfigurera i arbetsytans inställningar
Ljudformat som stöds: AAC, AIFF, OGG, MP3, OPUS, WAV, FLAC, M4A, WebM
Videoformat som stöds: MP4, AVI, MKV, MOV, WMV, FLV, WebM, MPEG, 3GPP