Hoppa till navigering

Transkribering

Lär dig hur du omvandlar talat ljud till text med ElevenLabs.

Översikt

ElevenLabs Speech to Text (STT)-API omvandlar talat ljud till text med marknadsledande noggrannhet på över 90 språk. Använd Scribe v3 för inspelat ljud och Scribe v3 Live för ljud i realtid. Besök vår Speech to Text-sida för att testa en livedemo.

Företag som behöver uppfylla HIPAA måste kontakta ElevenLabs försäljning för att underteckna ett Business Associate Agreement (BAA). Se till att detta steg är klart innan du fortsätter med HIPAA-relaterade integrationer eller driftsättningar.

Modeller

Exempel på API-svar

Följande exempel visar resultatet från Speech to Text-API:t med Scribe v2-modellen för en exempelljudfil.

{
"language_code": "en",
"language_probability": 1,
"text": "With a soft and whispery American accent, I'm the ideal choice for creating ASMR content, meditative guides, or adding an intimate feel to your narrative projects.",
"words": [
{
"text": "With",
"start": 0.119,
"end": 0.259,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 0.239,
"end": 0.299,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "a",
"start": 0.279,
"end": 0.359,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 0.339,
"end": 0.499,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "soft",
"start": 0.479,
"end": 1.039,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 1.019,
"end": 1.2,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "and",
"start": 1.18,
"end": 1.359,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 1.339,
"end": 1.44,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "whispery",
"start": 1.419,
"end": 1.979,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 1.959,
"end": 2.179,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "American",
"start": 2.159,
"end": 2.719,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 2.699,
"end": 2.779,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "accent,",
"start": 2.759,
"end": 3.389,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 4.119,
"end": 4.179,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "I'm",
"start": 4.159,
"end": 4.459,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 4.44,
"end": 4.52,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "the",
"start": 4.5,
"end": 4.599,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 4.579,
"end": 4.699,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "ideal",
"start": 4.679,
"end": 5.099,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 5.079,
"end": 5.219,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "choice",
"start": 5.199,
"end": 5.719,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 5.699,
"end": 6.099,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "for",
"start": 6.099,
"end": 6.199,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 6.179,
"end": 6.279,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "creating",
"start": 6.259,
"end": 6.799,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 6.779,
"end": 6.979,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "ASMR",
"start": 6.959,
"end": 7.739,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 7.719,
"end": 7.859,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "content,",
"start": 7.839,
"end": 8.45,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 9,
"end": 9.06,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "meditative",
"start": 9.04,
"end": 9.64,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 9.619,
"end": 9.699,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "guides,",
"start": 9.679,
"end": 10.359,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 10.359,
"end": 10.409,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "or",
"start": 11.319,
"end": 11.439,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 11.42,
"end": 11.52,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "adding",
"start": 11.5,
"end": 11.879,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 11.859,
"end": 12,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "an",
"start": 11.979,
"end": 12.079,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 12.059,
"end": 12.179,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "intimate",
"start": 12.179,
"end": 12.579,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 12.559,
"end": 12.699,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "feel",
"start": 12.679,
"end": 13.159,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 13.139,
"end": 13.179,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "to",
"start": 13.159,
"end": 13.26,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 13.239,
"end": 13.3,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "your",
"start": 13.299,
"end": 13.399,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 13.379,
"end": 13.479,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "narrative",
"start": 13.479,
"end": 13.889,
"type": "word",
"speaker_id": "speaker_0"
},
{
"text": " ",
"start": 13.919,
"end": 13.939,
"type": "spacing",
"speaker_id": "speaker_0"
},
{
"text": "projects.",
"start": 13.919,
"end": 14.779,
"type": "word",
"speaker_id": "speaker_0"
}
]
}

Resultatet delas in i tre kategorityper:

  • word – Ett ord på ljudets språk
  • spacing – Mellanslaget mellan ord, gäller inte språk som inte använder mellanslag, exempelvis japanska, mandarin, thailändska, lao, burmesiska och kantonesiska
  • audio_event – Icke-talade ljud som skratt eller applåder

Samtidighet och prioritet

Samtidighet beskriver hur många förfrågningar som kan behandlas samtidigt.

För Speech to Text transkriberas filer som är längre än 8 minuter internt parallellt för att snabba upp behandlingen. Ljudet delas upp i fyra segment som transkriberas samtidigt.

Du kan beräkna gränsen för samtidighet med följande beräkning:

Concurrency=min⁡(4,round_up(audio_duration_secs480))Concurrency = \min(4, \text{round\_up}(\frac{\text{audio\_duration\_secs}}{480}))

En ljudfil på 15 minuter transkriberas till exempel med en samtidighet på 2, medan en ljudfil på 120 minuter transkriberas med en samtidighet på 4.

Beräkningen ovan gäller endast batchmodeller som Scribe v3, Scribe v2 och Scribe v2 Medical. För Scribe v3 Live och Scribe v2 Realtime, se diagrammet över gränser för samtidighet och prioritet.

Avancerade funktioner

Nyckeltermsstyrning och transkriptredigering medför en extra kostnad. Se API-prissidan för detaljerad prisinformation.

Nyckeltermsstyrning

Nyckeltermsstyrning är tillgänglig med Scribe v3, Scribe v3 Live, Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime.

Markera ord eller fraser för att styra modellen mot att transkribera dem. Detta är användbart för att transkribera specifika ord eller meningar som inte är vanliga i ljudet, till exempel produktnamn, namn eller andra specifika termer. Nyckeltermer är kraftfullare än partiska nyckelord eller anpassade vokabulärer som erbjuds av andra modeller, eftersom de använder sammanhanget för att avgöra om termen ska transkriberas eller inte. Batch stöder upp till 1 000 nyckeltermer (50 tecken vardera), medan realtid stöder upp till 50 nyckeltermer (20 tecken vardera).

Läs mer om hur du använder nyckeltermsstyrning i dokumentationen för nyckeltermsstyrning.

Bibliotek för nyckeltermer

Biblioteket för nyckeltermer är tillgängligt med Scribe v3 Live.

Ett bibliotek för nyckeltermer är en stor vokabulär för ett helt område, till exempel en medicinsk ordbok, juridiska termer eller en produktkatalog. Modellen använder biblioteket endast när den hör en sannolik matchning. Ett bibliotek kan innehålla upp till 10 000 termer. Använd det tillsammans med nyckeltermsstyrning, som passar bäst för de få termer du vet kommer att förekomma. Sessioner som använder ett bibliotek för nyckeltermer debiteras med samma extra kostnad som nyckeltermsstyrning.

Läs mer i dokumentationen för biblioteket för nyckeltermer.

Turförutsägelse

Turförutsägelse är tillgänglig med Scribe v3 Live.

Röstaktivitetsdetektering (VAD) baserad på tystnad fastställer ett transkriptsegment efter en period av tystnad. En kort tystnadströskel avbryter talare när de pausar, medan en lång tröskel skapar fördröjning. Turförutsägelse använder samtalets sammanhang för att uppskatta om talaren har avslutat sin tur, så att en uppringare som pausar mitt i ett telefonnummer inte avbryts. Det är samma turdetektering som ElevenAgents använder.

Läs mer om turförutsägelse.

Diarisering i realtid

Diarisering i realtid är tillgänglig med Scribe v3 Live.

Ange diarize=true för att märka ut vem som talar i realtidstranskript. Utkast till talaretiketter visas i partiella transkript, och varje bekräftat transkript följs av ett separat diariserat transkript utan att fördröja den bekräftade texten.

Läs mer i guiden för talardiarsiering i realtid.

Nummerformatering

Nummerformatering är tillgänglig med Scribe v3.

Välj om siffror i transkriptet ska skrivas som siffror (42) eller som ord (fyrtiotvå). Om du inte anger ett format väljer modellen ett.

Läs mer om nummer- och språkalternativ.

Ljud med flera språk

Sekundära språkkoder är tillgängliga med Scribe v3. Flerspråkigt läge är tillgängligt med Scribe v3 Live.

När talare använder fler än ett språk listar du de språk du förväntar dig så att modellen kan transkribera vart och ett korrekt. För ljud i realtid transkriberar flerspråkigt läge varje språk med dess eget skriftsystem och följer språkbyten mitt i en mening.

Scribe översätter inte. Tal transkriberas på det språk det talas.

Läs mer om nummer- och språkalternativ för batchtranskribering och språkalternativ i realtid för transkribering i realtid.

Läget utan ordagrannhet

Läget utan ordagrannhet är tillgängligt med Scribe v3, Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime.

När no_verbatim är aktiverat tar modellen bort utfyllnadsord, felaktiga starter och talstörningar från transkriptet. Detta ger ett renare resultat som passar för undertexter, sammanfattningar eller andra användningsfall där läsbarhet är viktigare än att fånga varje talat ord.

Entitetsdetektering

Entitetsdetektering är tillgänglig med alla batchmodeller, Scribe v3 Live och Scribe v2 Realtime.

Batch- och realtidsmodeller kan identifiera flera kategorier av entiteter i transkriptet och ange deras exakta tidsstämplar. Detta är användbart för att markera kreditkortsnummer, namn, medicinska tillstånd eller personnummer.

En fullständig lista över entiteter som stöds finns i dokumentationen för entitetsdetektering.

Transkriptredigering

Transkriptredigering är en experimentell funktion som är tillgänglig med alla batchmodeller, Scribe v3 Live och Scribe v2 Realtime. Den är för närvarande inte tillgänglig i miljöer med dataresidens .

Skicka en instruktion på naturligt språk med parametern transcript_edit, så tillämpas den på det färdiga transkriptet. Den redigerade texten returneras i edited_transcript tillsammans med originaltranskriptet, så tidsstämplar och talaretiketter förblir intakta. Detta är användbart för att standardisera hur datum, tider eller enheter skrivs, tillämpa en annan stil eller skriva om transkriptet i en enda förfrågan.

Läs mer i dokumentationen för transkriptredigering och guiden för transkriptredigering i realtid.

Språk som stöds

Scribe v3 och Scribe v2 stöder över 90 språk, bland annat:

Afrikaans (afr), amhariska (amh), arabiska (ara), armeniska (hye), assamesiska (asm), asturiska (ast), azerbajdzjanska (aze), belarusiska (bel), bengaliska (ben), bosniska (bos), bulgariska (bul), burmesiska (mya), kantonesiska (yue), katalanska (cat), cebuano (ceb), chichewa (nya), kroatiska (hrv), tjeckiska (ces), danska (dan), nederländska (nld), engelska (eng), estniska (est), filippinska (fil), finska (fin), franska (fra), fulani (ful), galiciska (glg), ganda (lug), georgiska (kat), tyska (deu), grekiska (ell), gujarati (guj), hausa (hau), hebreiska (heb), hindi (hin), ungerska (hun), isländska (isl), igbo (ibo), indonesiska (ind), iriska (gle), italienska (ita), japanska (jpn), javanesiska (jav), kapverdiska (kea), kannada (kan), kazakiska (kaz), khmer (khm), koreanska (kor), kurdiska (kur), kirgiziska (kir), lao (lao), lettiska (lav), lingala (lin), litauiska (lit), luo (luo), luxemburgiska (ltz), makedonska (mkd), malajiska (msa), malayalam (mal), maltesiska (mlt), mandarin (zho), maori (mri), marathi (mar), mongoliska (mon), nepali (nep), nordsotho (nso), norska (nor), occitanska (oci), odia (ori), pashto (pus), persiska (fas), polska (pol), portugisiska (por), punjabi (pan), rumänska (ron), ryska (rus), serbiska (srp), shona (sna), sindhi (snd), singalesiska (sin), slovakiska (slk), slovenska (slv), somaliska (som), spanska (spa), swahili (swa), svenska (swe), tamilska (tam), tadzjikiska (tgk), telugu (tel), thailändska (tha), turkiska (tur), ukrainska (ukr), umbundu (umb), urdu (urd), uzbekiska (uzb), vietnamesiska (vie), walesiska (cym), wolof (wol), xhosa (xho) och zulu (zul).

Fördelning av språkstöd

Word Error Rate (WER) är ett nyckeltal som används för att utvärdera transkriberingssystems noggrannhet. Det mäter hur många fel som finns i ett transkript jämfört med ett referenstranskript. Nedan följer en fördelning av WER för varje språk som Scribe v2 stöder.

Vitryska (bel), bosniska (bos), bulgariska (bul), katalanska (cat), kroatiska (hrv), tjeckiska (ces), danska (dan), nederländska (nld), engelska (eng), estniska (est), finska (fin), franska (fra), galiciska (glg), tyska (deu), grekiska (ell), ungerska (hun), isländska (isl), indonesiska (ind), italienska (ita), japanska (jpn), kannada (kan), lettiska (lav), makedonska (mkd), malajiska (msa), malayalam (mal), norska (nor), polska (pol), portugisiska (por), rumänska (ron), ryska (rus), slovakiska (slk), spanska (spa), svenska (swe), turkiska (tur), ukrainska (ukr) och vietnamesiska (vie).

Armeniska (hye), azerbajdzjanska (aze), bengaliska (ben), kantonesiska (yue), filippinska (fil), georgiska (kat), gujarati (guj), hindi (hin), kazakiska (kaz), litauiska (lit), maltesiska (mlt), mandarin (cmn), marathi (mar), nepalesiska (nep), odia (ori), persiska (fas), serbiska (srp), slovenska (slv), swahili (swa), tamil (tam) och telugu (tel)

Afrikaans (afr), arabiska (ara), assamesiska (asm), asturiska (ast), burmesiska (mya), hausa (hau), hebreiska (heb), javanesiska (jav), koreanska (kor), kirgiziska (kir), luxemburgiska (ltz), maori (mri), occitanska (oci), punjabi (pan), tadzjikiska (tgk), thailändska (tha), uzbekiska (uzb) och walesiska (cym).

Amhariska (amh), ganda (lug), igbo (ibo), iriska (gle), khmer (khm), kurdiska (kur), lao (lao), mongoliska (mon), nord-sotho (nso), pashto (pus), shona (sna), sindhi (snd), singalesiska (sin), somaliska (som), urdu (urd), wolof (wol), xhosa (xho), yoruba (yor) och zulu (zul).

Vanliga frågor

Ja, API:t stöder uppladdning av både ljud- och videofiler för transkribering.

Filer på upp till 5 GB stöds. Längdgränserna beror på transkriberingsläget:

  • Standardläge (use_multi_channel=false): Upp till 15 timmar
  • Flerkanalsläge (use_multi_channel=true): Den sammanlagda längden för alla kanaler måste vara mindre än 15 timmar

API:t stöder följande ljud- och videoformat:

  • audio/aac
  • audio/x-aac
  • audio/x-aiff
  • audio/ogg
  • audio/mpeg
  • audio/mp3
  • audio/mpeg3
  • audio/x-mpeg-3
  • audio/opus
  • audio/wav
  • audio/x-wav
  • audio/webm
  • audio/flac
  • audio/x-flac
  • audio/mp4
  • audio/aiff
  • audio/x-m4a

Videoformat som stöds omfattar:

  • video/mp4
  • video/x-msvideo
  • video/x-matroska
  • video/quicktime
  • video/x-ms-wmv
  • video/x-flv
  • video/webm
  • video/mpeg
  • video/3gpp

ElevenLabs utökar ständigt antalet språk som stöds av våra modeller. Kom gärna tillbaka regelbundet för uppdateringar.

Ja, asynkrona transkriberingsresultat kan skickas till webhooks som konfigurerats i webhook-inställningarna i gränssnittet. Läs mer i webhooks-guiden.

Ja, flerkanalsfunktionen STT gör att du kan transkribera ljud där varje kanal behandlas oberoende och tilldelas ett talar-ID baserat på kanalnumret. Funktionen stöder upp till 5 kanaler. Läs mer i guiden för flerkanalstranskribering.

ElevenLabs tar betalt för tal till text utifrån längden på ljudet som skickas för transkribering. Faktureringen beräknas per ljudtimme, med priser som varierar beroende på nivå och modell. Se API-prissidan för detaljerad prisinformation.

Tystnad räknas med i den fakturerade längden. Både batch- och realtidstranskribering mäts för varje sekund av ljud du skickar, inklusive pauser och tysta partier, och det finns ingen rabatt för tystnad.

Viktiga fakta

  • Indata som stöds: Både ljud- och videofiler accepteras
  • Maximal filstorlek: 5 GB
  • Maximal längd: 15 timmar (standardläge), 15 timmar sammanlagt för alla kanaler (flerkanalsläge)
  • Flerkanalsläge: Upp till 5 kanaler; varje kanal behandlas oberoende med ett talar-ID tilldelat efter kanalnummer
  • Webhooks: Asynkrona transkriberingsresultat kan levereras till en webhook – konfigurera i arbetsyteinställningarna
  • Ljudformat som stöds: AAC, AIFF, OGG, MP3, OPUS, WAV, FLAC, M4A, WebM
  • Videoformat som stöds: MP4, AVI, MKV, MOV, WMV, FLV, WebM, MPEG, 3GPP