Transkribering
Lär dig hur du omvandlar talat ljud till text med ElevenLabs.
Översikt
ElevenLabs Speech to Text (STT)-API omvandlar talat ljud till text med marknadsledande noggrannhet på över 90 språk. Använd Scribe v3 för inspelat ljud och Scribe v3 Live för ljud i realtid. Besök vår Speech to Text-sida för att testa en livedemo.
Företag som behöver uppfylla HIPAA måste kontakta ElevenLabs försäljning för att underteckna ett Business Associate Agreement (BAA). Se till att detta steg är klart innan du fortsätter med HIPAA-relaterade integrationer eller driftsättningar.
Modeller
Exempel på API-svar
Följande exempel visar resultatet från Speech to Text-API:t med Scribe v2-modellen för en exempelljudfil.
Visa fullständigt JSON-svar
Resultatet delas in i tre kategorityper:
word– Ett ord på ljudets språkspacing– Mellanslaget mellan ord, gäller inte språk som inte använder mellanslag, exempelvis japanska, mandarin, thailändska, lao, burmesiska och kantonesiskaaudio_event– Icke-talade ljud som skratt eller applåder
Samtidighet och prioritet
Samtidighet beskriver hur många förfrågningar som kan behandlas samtidigt.
För Speech to Text transkriberas filer som är längre än 8 minuter internt parallellt för att snabba upp behandlingen. Ljudet delas upp i fyra segment som transkriberas samtidigt.
Du kan beräkna gränsen för samtidighet med följande beräkning:
En ljudfil på 15 minuter transkriberas till exempel med en samtidighet på 2, medan en ljudfil på 120 minuter transkriberas med en samtidighet på 4.
Beräkningen ovan gäller endast batchmodeller som Scribe v3, Scribe v2 och Scribe v2 Medical. För Scribe v3 Live och Scribe v2 Realtime, se diagrammet över gränser för samtidighet och prioritet.
Avancerade funktioner
Nyckeltermsstyrning och transkriptredigering medför en extra kostnad. Se API-prissidan för detaljerad prisinformation.
Nyckeltermsstyrning
Nyckeltermsstyrning är tillgänglig med Scribe v3, Scribe v3 Live, Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime.
Markera ord eller fraser för att styra modellen mot att transkribera dem. Detta är användbart för att transkribera specifika ord eller meningar som inte är vanliga i ljudet, till exempel produktnamn, namn eller andra specifika termer. Nyckeltermer är kraftfullare än partiska nyckelord eller anpassade vokabulärer som erbjuds av andra modeller, eftersom de använder sammanhanget för att avgöra om termen ska transkriberas eller inte. Batch stöder upp till 1 000 nyckeltermer (50 tecken vardera), medan realtid stöder upp till 50 nyckeltermer (20 tecken vardera).
Läs mer om hur du använder nyckeltermsstyrning i dokumentationen för nyckeltermsstyrning.
Bibliotek för nyckeltermer
Ett bibliotek för nyckeltermer är en stor vokabulär för ett helt område, till exempel en medicinsk ordbok, juridiska termer eller en produktkatalog. Modellen använder biblioteket endast när den hör en sannolik matchning. Ett bibliotek kan innehålla upp till 10 000 termer. Använd det tillsammans med nyckeltermsstyrning, som passar bäst för de få termer du vet kommer att förekomma. Sessioner som använder ett bibliotek för nyckeltermer debiteras med samma extra kostnad som nyckeltermsstyrning.
Läs mer i dokumentationen för biblioteket för nyckeltermer.
Turförutsägelse
Röstaktivitetsdetektering (VAD) baserad på tystnad fastställer ett transkriptsegment efter en period av tystnad. En kort tystnadströskel avbryter talare när de pausar, medan en lång tröskel skapar fördröjning. Turförutsägelse använder samtalets sammanhang för att uppskatta om talaren har avslutat sin tur, så att en uppringare som pausar mitt i ett telefonnummer inte avbryts. Det är samma turdetektering som ElevenAgents använder.
Läs mer om turförutsägelse.
Diarisering i realtid
Ange diarize=true för att märka ut vem som talar i realtidstranskript. Utkast till talaretiketter visas i partiella transkript, och varje bekräftat transkript följs av ett separat diariserat transkript utan att fördröja den bekräftade texten.
Läs mer i guiden för talardiarsiering i realtid.
Nummerformatering
Välj om siffror i transkriptet ska skrivas som siffror (42) eller som ord (fyrtiotvå). Om du inte anger ett format väljer modellen ett.
Läs mer om nummer- och språkalternativ.
Ljud med flera språk
Sekundära språkkoder är tillgängliga med Scribe v3. Flerspråkigt läge är tillgängligt med Scribe v3 Live.
När talare använder fler än ett språk listar du de språk du förväntar dig så att modellen kan transkribera vart och ett korrekt. För ljud i realtid transkriberar flerspråkigt läge varje språk med dess eget skriftsystem och följer språkbyten mitt i en mening.
Scribe översätter inte. Tal transkriberas på det språk det talas.
Läs mer om nummer- och språkalternativ för batchtranskribering och språkalternativ i realtid för transkribering i realtid.
Läget utan ordagrannhet
Läget utan ordagrannhet är tillgängligt med Scribe v3, Scribe v2, Scribe v2 Medical (batch) och Scribe v2 Realtime.
När no_verbatim är aktiverat tar modellen bort utfyllnadsord, felaktiga starter och talstörningar från transkriptet. Detta ger ett renare resultat som passar för undertexter, sammanfattningar eller andra användningsfall där läsbarhet är viktigare än att fånga varje talat ord.
Entitetsdetektering
Entitetsdetektering är tillgänglig med alla batchmodeller, Scribe v3 Live och Scribe v2 Realtime.
Batch- och realtidsmodeller kan identifiera flera kategorier av entiteter i transkriptet och ange deras exakta tidsstämplar. Detta är användbart för att markera kreditkortsnummer, namn, medicinska tillstånd eller personnummer.
En fullständig lista över entiteter som stöds finns i dokumentationen för entitetsdetektering.
Transkriptredigering
Transkriptredigering är en experimentell funktion som är tillgänglig med alla batchmodeller, Scribe v3 Live och Scribe v2 Realtime. Den är för närvarande inte tillgänglig i miljöer med dataresidens .
Skicka en instruktion på naturligt språk med parametern transcript_edit, så tillämpas den på det färdiga transkriptet. Den redigerade texten returneras i edited_transcript tillsammans med originaltranskriptet, så tidsstämplar och talaretiketter förblir intakta. Detta är användbart för att standardisera hur datum, tider eller enheter skrivs, tillämpa en annan stil eller skriva om transkriptet i en enda förfrågan.
Läs mer i dokumentationen för transkriptredigering och guiden för transkriptredigering i realtid.
Språk som stöds
Scribe v3 och Scribe v2 stöder över 90 språk, bland annat:
Afrikaans (afr), amhariska (amh), arabiska (ara), armeniska (hye), assamesiska (asm), asturiska (ast), azerbajdzjanska (aze), belarusiska (bel), bengaliska (ben), bosniska (bos), bulgariska (bul), burmesiska (mya), kantonesiska (yue), katalanska (cat), cebuano (ceb), chichewa (nya), kroatiska (hrv), tjeckiska (ces), danska (dan), nederländska (nld), engelska (eng), estniska (est), filippinska (fil), finska (fin), franska (fra), fulani (ful), galiciska (glg), ganda (lug), georgiska (kat), tyska (deu), grekiska (ell), gujarati (guj), hausa (hau), hebreiska (heb), hindi (hin), ungerska (hun), isländska (isl), igbo (ibo), indonesiska (ind), iriska (gle), italienska (ita), japanska (jpn), javanesiska (jav), kapverdiska (kea), kannada (kan), kazakiska (kaz), khmer (khm), koreanska (kor), kurdiska (kur), kirgiziska (kir), lao (lao), lettiska (lav), lingala (lin), litauiska (lit), luo (luo), luxemburgiska (ltz), makedonska (mkd), malajiska (msa), malayalam (mal), maltesiska (mlt), mandarin (zho), maori (mri), marathi (mar), mongoliska (mon), nepali (nep), nordsotho (nso), norska (nor), occitanska (oci), odia (ori), pashto (pus), persiska (fas), polska (pol), portugisiska (por), punjabi (pan), rumänska (ron), ryska (rus), serbiska (srp), shona (sna), sindhi (snd), singalesiska (sin), slovakiska (slk), slovenska (slv), somaliska (som), spanska (spa), swahili (swa), svenska (swe), tamilska (tam), tadzjikiska (tgk), telugu (tel), thailändska (tha), turkiska (tur), ukrainska (ukr), umbundu (umb), urdu (urd), uzbekiska (uzb), vietnamesiska (vie), walesiska (cym), wolof (wol), xhosa (xho) och zulu (zul).
Fördelning av språkstöd
Word Error Rate (WER) är ett nyckeltal som används för att utvärdera transkriberingssystems noggrannhet. Det mäter hur många fel som finns i ett transkript jämfört med ett referenstranskript. Nedan följer en fördelning av WER för varje språk som Scribe v2 stöder.
Utmärkt (≤ 5 % WER)
Vitryska (bel), bosniska (bos), bulgariska (bul), katalanska (cat), kroatiska (hrv), tjeckiska (ces), danska (dan), nederländska (nld), engelska (eng), estniska (est), finska (fin), franska (fra), galiciska (glg), tyska (deu), grekiska (ell), ungerska (hun), isländska (isl), indonesiska (ind), italienska (ita), japanska (jpn), kannada (kan), lettiska (lav), makedonska (mkd), malajiska (msa), malayalam (mal), norska (nor), polska (pol), portugisiska (por), rumänska (ron), ryska (rus), slovakiska (slk), spanska (spa), svenska (swe), turkiska (tur), ukrainska (ukr) och vietnamesiska (vie).
Hög noggrannhet (>5 % till ≤10 % WER)
Armeniska (hye), azerbajdzjanska (aze), bengaliska (ben), kantonesiska (yue), filippinska (fil), georgiska (kat), gujarati (guj), hindi (hin), kazakiska (kaz), litauiska (lit), maltesiska (mlt), mandarin (cmn), marathi (mar), nepalesiska (nep), odia (ori), persiska (fas), serbiska (srp), slovenska (slv), swahili (swa), tamil (tam) och telugu (tel)
Bra (>10 % till ≤20 % WER)
Afrikaans (afr), arabiska (ara), assamesiska (asm), asturiska (ast), burmesiska (mya), hausa (hau), hebreiska (heb), javanesiska (jav), koreanska (kor), kirgiziska (kir), luxemburgiska (ltz), maori (mri), occitanska (oci), punjabi (pan), tadzjikiska (tgk), thailändska (tha), uzbekiska (uzb) och walesiska (cym).
Måttlig (>25 % till ≤50 % WER)
Amhariska (amh), ganda (lug), igbo (ibo), iriska (gle), khmer (khm), kurdiska (kur), lao (lao), mongoliska (mon), nord-sotho (nso), pashto (pus), shona (sna), sindhi (snd), singalesiska (sin), somaliska (som), urdu (urd), wolof (wol), xhosa (xho), yoruba (yor) och zulu (zul).
Vanliga frågor
Kan jag använda tal till text-API:t med videofiler?
Ja, API:t stöder uppladdning av både ljud- och videofiler för transkribering.
Vilka är gränserna för filstorlek och längd för Speech to Text-API:t?
Filer på upp till 5 GB stöds. Längdgränserna beror på transkriberingsläget:
- Standardläge (
use_multi_channel=false): Upp till 15 timmar - Flerkanalsläge (
use_multi_channel=true): Den sammanlagda längden för alla kanaler måste vara mindre än 15 timmar
Vilka ljud- och videoformat stöds i API:t?
API:t stöder följande ljud- och videoformat:
- audio/aac
- audio/x-aac
- audio/x-aiff
- audio/ogg
- audio/mpeg
- audio/mp3
- audio/mpeg3
- audio/x-mpeg-3
- audio/opus
- audio/wav
- audio/x-wav
- audio/webm
- audio/flac
- audio/x-flac
- audio/mp4
- audio/aiff
- audio/x-m4a
Videoformat som stöds omfattar:
- video/mp4
- video/x-msvideo
- video/x-matroska
- video/quicktime
- video/x-ms-wmv
- video/x-flv
- video/webm
- video/mpeg
- video/3gpp
När kommer ni att stödja fler språk?
ElevenLabs utökar ständigt antalet språk som stöds av våra modeller. Kom gärna tillbaka regelbundet för uppdateringar.
Stöder tal till text-API:t webhooks?
Ja, asynkrona transkriberingsresultat kan skickas till webhooks som konfigurerats i webhook-inställningarna i gränssnittet. Läs mer i webhooks-guiden.
Stöds ett flerkanalsläge för transkribering i API:t?
Ja, flerkanalsfunktionen STT gör att du kan transkribera ljud där varje kanal behandlas oberoende och tilldelas ett talar-ID baserat på kanalnumret. Funktionen stöder upp till 5 kanaler. Läs mer i guiden för flerkanalstranskribering.
Hur fungerar fakturering för tal till text-API:t?
ElevenLabs tar betalt för tal till text utifrån längden på ljudet som skickas för transkribering. Faktureringen beräknas per ljudtimme, med priser som varierar beroende på nivå och modell. Se API-prissidan för detaljerad prisinformation.
Tystnad räknas med i den fakturerade längden. Både batch- och realtidstranskribering mäts för varje sekund av ljud du skickar, inklusive pauser och tysta partier, och det finns ingen rabatt för tystnad.
Viktiga fakta
- Indata som stöds: Både ljud- och videofiler accepteras
- Maximal filstorlek: 5 GB
- Maximal längd: 15 timmar (standardläge), 15 timmar sammanlagt för alla kanaler (flerkanalsläge)
- Flerkanalsläge: Upp till 5 kanaler; varje kanal behandlas oberoende med ett talar-ID tilldelat efter kanalnummer
- Webhooks: Asynkrona transkriberingsresultat kan levereras till en webhook – konfigurera i arbetsyteinställningarna
- Ljudformat som stöds: AAC, AIFF, OGG, MP3, OPUS, WAV, FLAC, M4A, WebM
- Videoformat som stöds: MP4, AVI, MKV, MOV, WMV, FLV, WebM, MPEG, 3GPP