Transkription | ElevenLabs Documentation

Übersicht

Die ElevenLabs-Speech to Text (STT) API wandelt gesprochene Audiodateien mit hochmoderner Genauigkeit in Text um. Unser Scribe v2-Modell passt sich an textliche Hinweise in über 90 Sprachen und verschiedenen Sprechstilen an. Eine Live-Demo finden Sie auf unserer Speech-to-Text-Produktseite.

Produkte

Schritt-für-Schritt-Anleitung für Speech to Text in ElevenLabs.

Entwickler

Erfahren Sie, wie Sie die Speech-to-Text-API in Ihre Anwendung integrieren.

Echtzeit-Spracherkennung

Erfahren Sie, wie Sie Audio mit ElevenLabs und WebSockets in Echtzeit transkribieren.

API-Referenz

Vollständige API-Referenz für den Speech-to-Text-Endpunkt.

Unternehmen, die HIPAA-Konformität benötigen, müssen sich an den ElevenLabs- Vertrieb wenden, um eine Vereinbarung für Geschäftspartner (Business Associate Agreement, BAA) zu unterzeichnen. Stellen Sie sicher, dass dieser Schritt abgeschlossen ist, bevor Sie mit HIPAA-bezogenen Integrationen oder Bereitstellungen fortfahren.

Modelle

Scribe v2

Modernstes Spracherkennungsmodell

Präzise Transkription in über 90 Sprachen

Keyterm-Prompting mit bis zu 1000 Begriffen

Entitätserkennung mit 65 Entitätstypen

Transkriptbearbeitung mit Anweisungen in natürlicher Sprache

Präzise Zeitstempel auf Wortebene

Sprecherdiarisierung für bis zu 32 Sprecher

Dynamische Audio-Tagging

Intelligente Spracherkennung

Scribe v2 Realtime

Echtzeit-Spracherkennungsmodell

Präzise Transkription in über 90 Sprachen

Echtzeit-Transkription

Niedrige Latenz (~150 ms†)

Präzise Zeitstempel auf Wortebene

Entitätserkennung mit 65 Entitätstypen

Schwärzung von Entitäten

Transkriptbearbeitung mit Anweisungen in natürlicher Sprache

Scribe v2 Medical

Für klinische Audioinhalte feinabgestimmte Spracherkennung

35 % weniger Transkriptionsfehler bei klinischen Audioinhalten als Scribe v2

Gleiche Genauigkeit bei Alltagssprache wie Scribe v2

Gleiche Funktionen, Sprachen, Preise und API wie Scribe v2

Alle ansehen

Beispiel einer API-Antwort

Das folgende Beispiel zeigt die Ausgabe der Speech-to-Text-API mit dem Modell Scribe v2 für eine Beispiel-Audiodatei.

Vollständige JSON-Antwort anzeigen

{
  "language_code": "en",
  "language_probability": 1,
  "text": "With a soft and whispery American accent, I'm the ideal choice for creating ASMR content, meditative guides, or adding an intimate feel to your narrative projects.",
  "words": [
    {
      "text": "With",
      "start": 0.119,
      "end": 0.259,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.239,
      "end": 0.299,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "a",
      "start": 0.279,
      "end": 0.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.339,
      "end": 0.499,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "soft",
      "start": 0.479,
      "end": 1.039,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.019,
      "end": 1.2,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "and",
      "start": 1.18,
      "end": 1.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.339,
      "end": 1.44,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "whispery",
      "start": 1.419,
      "end": 1.979,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.959,
      "end": 2.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "American",
      "start": 2.159,
      "end": 2.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 2.699,
      "end": 2.779,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "accent,",
      "start": 2.759,
      "end": 3.389,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.119,
      "end": 4.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "I'm",
      "start": 4.159,
      "end": 4.459,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.44,
      "end": 4.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "the",
      "start": 4.5,
      "end": 4.599,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.579,
      "end": 4.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ideal",
      "start": 4.679,
      "end": 5.099,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.079,
      "end": 5.219,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "choice",
      "start": 5.199,
      "end": 5.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.699,
      "end": 6.099,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "for",
      "start": 6.099,
      "end": 6.199,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.179,
      "end": 6.279,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "creating",
      "start": 6.259,
      "end": 6.799,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.779,
      "end": 6.979,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ASMR",
      "start": 6.959,
      "end": 7.739,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 7.719,
      "end": 7.859,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "content,",
      "start": 7.839,
      "end": 8.45,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9,
      "end": 9.06,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "meditative",
      "start": 9.04,
      "end": 9.64,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9.619,
      "end": 9.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "guides,",
      "start": 9.679,
      "end": 10.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 10.359,
      "end": 10.409,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "or",
      "start": 11.319,
      "end": 11.439,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.42,
      "end": 11.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "adding",
      "start": 11.5,
      "end": 11.879,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.859,
      "end": 12,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "an",
      "start": 11.979,
      "end": 12.079,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.059,
      "end": 12.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "intimate",
      "start": 12.179,
      "end": 12.579,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.559,
      "end": 12.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "feel",
      "start": 12.679,
      "end": 13.159,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.139,
      "end": 13.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "to",
      "start": 13.159,
      "end": 13.26,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.239,
      "end": 13.3,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "your",
      "start": 13.299,
      "end": 13.399,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.379,
      "end": 13.479,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "narrative",
      "start": 13.479,
      "end": 13.889,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.919,
      "end": 13.939,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "projects.",
      "start": 13.919,
      "end": 14.779,
      "type": "word",
      "speaker_id": "speaker_0"
    }
  ]
}

Die Ausgabe wird in drei Kategorietypen eingeteilt:

word – Ein Wort in der Sprache der Audiodatei
spacing – Der Abstand zwischen Wörtern; nicht relevant für Sprachen ohne Leerzeichen wie Japanisch, Mandarin, Thailändisch, Laotisch, Burmesisch und Kantonesisch
audio_event – Nichtsprachliche Geräusche wie Lachen oder Applaus

Parallelität und Priorität

Parallelität beschreibt, wie viele Anfragen gleichzeitig verarbeitet werden können.

Bei Speech to Text werden Dateien mit einer Länge von mehr als 8 Minuten intern parallel transkribiert, um die Verarbeitung zu beschleunigen. Das Audio wird in vier Segmente aufgeteilt, die gleichzeitig transkribiert werden.

Sie können das Parallelitätslimit mit folgender Berechnung ermitteln:

Concurrency = \min(4, \text{round\_up}(\frac{\text{audio\_duration\_secs}}{480}))

Beispielsweise wird eine 15-minütige Audiodatei mit einer Parallelität von 2 transkribiert, während eine 120-minütige Audiodatei mit einer Parallelität von 4 transkribiert wird.

Die obige Berechnung gilt nur für Scribe v2 und Scribe v2 Medical. Für Scribe v2 Realtime siehe die Tabelle der Parallelitätslimits.

Erweiterte Funktionen

Keyterm-Prompting und Transkriptbearbeitung verursachen zusätzliche Kosten. Detaillierte Preisinformationen finden Sie auf der API-Preisseite .

Keyterm-Prompting

Keyterm-Prompting ist mit Scribe v2, Scribe v2 Medical (Batch) und Scribe v2 Realtime verfügbar.

Heben Sie Wörter oder Ausdrücke hervor, damit das Modell diese bevorzugt transkribiert. Das ist hilfreich, um bestimmte Wörter oder Sätze zu transkribieren, die im Audio nicht häufig vorkommen, etwa Produktnamen, Namen oder andere spezifische Begriffe. Keyterms sind leistungsfähiger als verzerrte Keywords oder benutzerdefinierte Vokabulare anderer Modelle, da der Kontext bestimmt, ob der Begriff transkribiert wird. Batch unterstützt bis zu 1.000 Keyterms mit jeweils 50 Zeichen, Echtzeit bis zu 50 Keyterms mit jeweils 20 Zeichen.

Weitere Informationen zur Verwendung von Keyterm-Prompting finden Sie in der Dokumentation zu Keyterm-Prompting.

Kein-Wortlaut-Modus

Der Kein-Wortlaut-Modus ist mit Scribe v2, Scribe v2 Medical (Batch) und Scribe v2 Realtime verfügbar.

Wenn no_verbatim aktiviert ist, entfernt das Modell Füllwörter, Satzabbrüche und Unflüssigkeiten aus dem Transkript. Das erzeugt eine klarere Ausgabe für Untertitel, Zusammenfassungen oder jeden Anwendungsfall, bei dem die Lesbarkeit wichtiger ist als jedes gesprochene Wort zu erfassen.

Entitätserkennung

Die Entitätserkennung ist mit allen Batch-Modellen und Scribe v2 Realtime verfügbar.

Batch-Modelle und Scribe v2 Realtime können mehrere Kategorien von Entitäten im Transkript erkennen und ihre genauen Zeitstempel bereitstellen. Das ist hilfreich, um Kreditkartennummern, Namen, Krankheiten oder Sozialversicherungsnummern hervorzuheben.

Eine vollständige Liste unterstützter Entitäten finden Sie in der Dokumentation zur Entitätserkennung.

Transkriptbearbeitung

Die Transkriptbearbeitung ist eine experimentelle Funktion, die mit allen Batch-Modellen und Scribe v2 Realtime verfügbar ist. Sie ist derzeit nicht in Datenresidenz- -Umgebungen verfügbar.

Übergeben Sie mit dem Parameter transcript_edit eine Anweisung in natürlicher Sprache, die auf das fertige Transkript angewendet wird. Der bearbeitete Text wird in edited_transcript zusammen mit dem Originaltranskript zurückgegeben, sodass Zeitstempel und Sprecherbezeichnungen erhalten bleiben. Das ist hilfreich, um die Schreibweise von Daten, Zeiten oder Einheiten zu vereinheitlichen, einen anderen Stil anzuwenden oder das Transkript in einer einzigen Anfrage umzuschreiben.

Weitere Informationen finden Sie in der Dokumentation zur Transkriptbearbeitung und im Leitfaden zur Echtzeit-Transkriptbearbeitung.

Unterstützte Sprachen

Scribe v2 unterstützt mehr als 90 Sprachen, darunter:

Afrikaans (afr), Amharisch (amh), Arabisch (ara), Armenisch (hye), Assamesisch (asm), Asturisch (ast), Aserbaidschanisch (aze), Belarussisch (bel), Bengalisch (ben), Bosnisch (bos), Bulgarisch (bul), Birmanisch (mya), Kantonesisch (yue), Katalanisch (cat), Cebuano (ceb), Chichewa (nya), Kroatisch (hrv), Tschechisch (ces), Dänisch (dan), Niederländisch (nld), Englisch (eng), Estnisch (est), Filipino (fil), Finnisch (fin), Französisch (fra), Fulfulde (ful), Galicisch (glg), Ganda (lug), Georgisch (kat), Deutsch (deu), Griechisch (ell), Gujarati (guj), Hausa (hau), Hebräisch (heb), Hindi (hin), Ungarisch (hun), Isländisch (isl), Igbo (ibo), Indonesisch (ind), Irisch (gle), Italienisch (ita), Japanisch (jpn), Javanisch (jav), Kabuverdianu (kea), Kannada (kan), Kasachisch (kaz), Khmer (khm), Koreanisch (kor), Kurdisch (kur), Kirgisisch (kir), Laotisch (lao), Lettisch (lav), Lingala (lin), Litauisch (lit), Luo (luo), Luxemburgisch (ltz), Mazedonisch (mkd), Malaiisch (msa), Malayalam (mal), Maltesisch (mlt), Mandarin-Chinesisch (zho), Māori (mri), Marathi (mar), Mongolisch (mon), Nepalesisch (nep), Nord-Sotho (nso), Norwegisch (nor), Okzitanisch (oci), Odia (ori), Paschtunisch (pus), Persisch (fas), Polnisch (pol), Portugiesisch (por), Panjabi (pan), Rumänisch (ron), Russisch (rus), Serbisch (srp), Shona (sna), Sindhi (snd), Singhalesisch (sin), Slowakisch (slk), Slowenisch (slv), Somali (som), Spanisch (spa), Suaheli (swa), Schwedisch (swe), Tamil (tam), Tadschikisch (tgk), Telugu (tel), Thailändisch (tha), Türkisch (tur), Ukrainisch (ukr), Umbundu (umb), Urdu (urd), Usbekisch (uzb), Vietnamesisch (vie), Walisisch (cym), Wolof (wol), Xhosa (xho) und Zulu (zul).

Aufschlüsselung der Sprachunterstützung

Die Wortfehlerrate (WER) ist eine wichtige Kennzahl zur Bewertung der Genauigkeit von Transkriptionssystemen. Sie misst, wie viele Fehler ein Transkript im Vergleich zu einem Referenztranskript enthält. Nachfolgend finden Sie eine Aufschlüsselung der WER für jede von Scribe v2 unterstützte Sprache.

Ausgezeichnet (≤ 5 % WER)

Belarussisch (bel), Bosnisch (bos), Bulgarisch (bul), Katalanisch (cat), Kroatisch (hrv), Tschechisch (ces), Dänisch (dan), Niederländisch (nld), Englisch (eng), Estnisch (est), Finnisch (fin), Französisch (fra), Galicisch (glg), Deutsch (deu), Griechisch (ell), Ungarisch (hun), Isländisch (isl), Indonesisch (ind), Italienisch (ita), Japanisch (jpn), Kannada (kan), Lettisch (lav), Mazedonisch (mkd), Malaiisch (msa), Malayalam (mal), Norwegisch (nor), Polnisch (pol), Portugiesisch (por), Rumänisch (ron), Russisch (rus), Slowakisch (slk), Spanisch (spa), Schwedisch (swe), Türkisch (tur), Ukrainisch (ukr) und Vietnamesisch (vie).

Hohe Genauigkeit (>5 % bis ≤10 % WER)

Armenisch (hye), Aserbaidschanisch (aze), Bengalisch (ben), Kantonesisch (yue), Filipino (fil), Georgisch (kat), Gujarati (guj), Hindi (hin), Kasachisch (kaz), Litauisch (lit), Maltesisch (mlt), Mandarin (cmn), Marathi (mar), Nepalesisch (nep), Odia (ori), Persisch (fas), Serbisch (srp), Slowenisch (slv), Suaheli (swa), Tamil (tam) und Telugu (tel)

Gut (>10 % bis ≤20 % WER)

Afrikaans (afr), Arabisch (ara), Assamesisch (asm), Asturisch (ast), Burmesisch (mya), Hausa (hau), Hebräisch (heb), Javanisch (jav), Koreanisch (kor), Kirgisisch (kir), Luxemburgisch (ltz), Māori (mri), Okzitanisch (oci), Punjabi (pan), Tadschikisch (tgk), Thailändisch (tha), Usbekisch (uzb) und Walisisch (cym).

Mittelmäßig (>25 % bis ≤50 % WER)

Amharisch (amh), Ganda (lug), Igbo (ibo), Irisch (gle), Khmer (khm), Kurdisch (kur), Laotisch (lao), Mongolisch (mon), Nord-Sotho (nso), Paschtunisch (pus), Shona (sna), Sindhi (snd), Singhalesisch (sin), Somalisch (som), Urdu (urd), Wolof (wol), Xhosa (xho), Yoruba (yor) und Zulu (zul).

FAQ

Kann ich die Speech-to-Text-API mit Videodateien verwenden?

Ja, die API unterstützt das Hochladen von Audio- und Videodateien zur Transkription.

Welche Größen- und Längenlimits gelten für Dateien in der Speech-to-Text-API?

Dateien mit einer Größe von bis zu 3 GB werden unterstützt. Die Längenlimits hängen vom Transkriptionsmodus ab:

Standardmodus (use_multi_channel=false): Bis zu 10 Stunden
Mehrkanalmodus (use_multi_channel=true): Die Gesamtdauer aller Kanäle muss unter 10 Stunden liegen

Welche Audio- und Videoformate werden von der API unterstützt?

Die API unterstützt folgende Audio- und Videoformate:

audio/aac
audio/x-aac
audio/x-aiff
audio/ogg
audio/mpeg
audio/mp3
audio/mpeg3
audio/x-mpeg-3
audio/opus
audio/wav
audio/x-wav
audio/webm
audio/flac
audio/x-flac
audio/mp4
audio/aiff
audio/x-m4a

Zu den unterstützten Videoformaten gehören:

video/mp4
video/x-msvideo
video/x-matroska
video/quicktime
video/x-ms-wmv
video/x-flv
video/webm
video/mpeg
video/3gpp

Wann werden Sie weitere Sprachen unterstützen?

ElevenLabs erweitert die Anzahl der von unseren Modellen unterstützten Sprachen kontinuierlich. Schauen Sie regelmäßig nach Updates vorbei.

Unterstützt die Speech-to-Text-API Webhooks?

Ja, asynchrone Transkriptionsergebnisse können an Webhooks gesendet werden, die in den Webhook-Einstellungen der Benutzeroberfläche konfiguriert sind. Weitere Informationen finden Sie im Webhooks-Cookbook.

Wird ein Mehrkanal-Transkriptionsmodus von der API unterstützt?

Ja, mit der Mehrkanal-STT-Funktion können Sie Audio transkribieren, bei dem jeder Kanal unabhängig verarbeitet und anhand seiner Kanalnummer einer Sprecher-ID zugeordnet wird. Diese Funktion unterstützt bis zu 5 Kanäle. Weitere Informationen finden Sie im Cookbook zur Mehrkanal-Transkription.

Wie funktioniert die Abrechnung für die Speech-to-Text-API?

ElevenLabs berechnet Speech to Text anhand der Dauer des zur Transkription gesendeten Audios. Die Abrechnung erfolgt pro Audiostunde, wobei die Preise je nach Tarif und Modell variieren. Detaillierte Preisinformationen finden Sie auf der API-Preisseite.

Stille zählt zur abgerechneten Dauer. Sowohl Batch- als auch Echtzeittranskriptionen werden für jede Sekunde des gesendeten Audios abgerechnet, einschließlich Pausen und stiller Abschnitte. Für Stille gibt es keinen Rabatt.

Wichtige Fakten

Unterstützte Eingaben: Audio- und Videodateien werden akzeptiert
Maximale Dateigröße: 3 GB
Maximale Dauer: 10 Stunden (Standardmodus), 1 Stunde (Mehrkanalmodus)
Mehrkanalmodus: Bis zu 5 Kanäle; jeder wird unabhängig verarbeitet und anhand der Kanalnummer einer Sprecher-ID zugeordnet
Webhooks: Asynchrone Transkriptionsergebnisse können an einen Webhook gesendet werden – konfigurieren Sie ihn in den Workspace-Einstellungen
Unterstützte Audioformate: AAC, AIFF, OGG, MP3, OPUS, WAV, FLAC, M4A, WebM
Unterstützte Videoformate: MP4, AVI, MKV, MOV, WMV, FLV, WebM, MPEG, 3GPP