Transkrypcja

Przegląd

Interfejs Speech to Text (STT) API ElevenLabs zamienia nagrania mowy na tekst z najwyższą dokładnością w ponad 90 językach. Użyj Scribe v3 do nagranego audio i Scribe v3 Live do audio w czasie rzeczywistym. Aby wypróbować demo na żywo, odwiedź stronę Speech to Text.

Modele

Przykładowa odpowiedź API

Poniższy przykład pokazuje dane wyjściowe API Speech to Text z modelem Scribe v2 dla przykładowego pliku audio.

{
  "language_code": "en",
  "language_probability": 1,
  "text": "With a soft and whispery American accent, I'm the ideal choice for creating ASMR content, meditative guides, or adding an intimate feel to your narrative projects.",
  "words": [
    {
      "text": "With",
      "start": 0.119,
      "end": 0.259,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.239,
      "end": 0.299,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "a",
      "start": 0.279,
      "end": 0.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 0.339,
      "end": 0.499,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "soft",
      "start": 0.479,
      "end": 1.039,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.019,
      "end": 1.2,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "and",
      "start": 1.18,
      "end": 1.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.339,
      "end": 1.44,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "whispery",
      "start": 1.419,
      "end": 1.979,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 1.959,
      "end": 2.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "American",
      "start": 2.159,
      "end": 2.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 2.699,
      "end": 2.779,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "accent,",
      "start": 2.759,
      "end": 3.389,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.119,
      "end": 4.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "I'm",
      "start": 4.159,
      "end": 4.459,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.44,
      "end": 4.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "the",
      "start": 4.5,
      "end": 4.599,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 4.579,
      "end": 4.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ideal",
      "start": 4.679,
      "end": 5.099,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.079,
      "end": 5.219,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "choice",
      "start": 5.199,
      "end": 5.719,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 5.699,
      "end": 6.099,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "for",
      "start": 6.099,
      "end": 6.199,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.179,
      "end": 6.279,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "creating",
      "start": 6.259,
      "end": 6.799,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 6.779,
      "end": 6.979,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "ASMR",
      "start": 6.959,
      "end": 7.739,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 7.719,
      "end": 7.859,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "content,",
      "start": 7.839,
      "end": 8.45,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9,
      "end": 9.06,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "meditative",
      "start": 9.04,
      "end": 9.64,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 9.619,
      "end": 9.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "guides,",
      "start": 9.679,
      "end": 10.359,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 10.359,
      "end": 10.409,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "or",
      "start": 11.319,
      "end": 11.439,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.42,
      "end": 11.52,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "adding",
      "start": 11.5,
      "end": 11.879,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 11.859,
      "end": 12,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "an",
      "start": 11.979,
      "end": 12.079,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.059,
      "end": 12.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "intimate",
      "start": 12.179,
      "end": 12.579,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 12.559,
      "end": 12.699,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "feel",
      "start": 12.679,
      "end": 13.159,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.139,
      "end": 13.179,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "to",
      "start": 13.159,
      "end": 13.26,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.239,
      "end": 13.3,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "your",
      "start": 13.299,
      "end": 13.399,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.379,
      "end": 13.479,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "narrative",
      "start": 13.479,
      "end": 13.889,
      "type": "word",
      "speaker_id": "speaker_0"
    },
    {
      "text": " ",
      "start": 13.919,
      "end": 13.939,
      "type": "spacing",
      "speaker_id": "speaker_0"
    },
    {
      "text": "projects.",
      "start": 13.919,
      "end": 14.779,
      "type": "word",
      "speaker_id": "speaker_0"
    }
  ]
}

Dane wyjściowe dzielą się na trzy kategorie:

• word — słowo w języku nagrania
• spacing — odstęp między słowami; nie dotyczy języków, które nie używają spacji, takich jak japoński, mandaryński, tajski, laotański, birmański i kantoński
• audio_event — dźwięki inne niż mowa, np. śmiech lub oklaski

Równoległość i priorytet

Równoległość określa, ile żądań może być przetwarzanych jednocześnie.

W Speech to Text pliki dłuższe niż 8 minut są wewnętrznie transkrybowane równolegle, aby przyspieszyć przetwarzanie. Audio jest dzielone na cztery segmenty transkrybowane jednocześnie.

Limit równoległości możesz obliczyć według wzoru:

Na przykład 15-minutowy plik audio zostanie transkrybowany z równoległością 2, a 120-minutowy plik audio — z równoległością 4.

Zaawansowane funkcje

Podpowiadanie kluczowych terminów

Wyróżnij słowa lub frazy, aby zwiększyć szansę, że model je transkrybuje. Przydaje się to przy transkrypcji rzadko występujących słów lub zdań, takich jak nazwy produktów, imiona i inne konkretne terminy. Kluczowe terminy są skuteczniejsze niż preferowane słowa kluczowe czy niestandardowe słowniki oferowane przez inne modele, ponieważ model korzysta z kontekstu, aby zdecydować, czy transkrybować dany termin. Tryb wsadowy obsługuje do 1000 kluczowych terminów (po 50 znaków), a tryb czasu rzeczywistego — do 50 (po 20 znaków).

Więcej informacji o używaniu podpowiadania kluczowych terminów znajdziesz w dokumentacji.

Biblioteka kluczowych terminów

Biblioteka kluczowych terminów to duży słownik dla całej dziedziny, np. słownik medyczny, terminy prawne lub katalog produktów. Model sprawdza bibliotekę tylko wtedy, gdy słyszy prawdopodobne dopasowanie. Biblioteka może zawierać do 10 000 terminów. Używaj jej wraz z podpowiadaniem kluczowych terminów, które najlepiej sprawdza się dla kilku terminów, które na pewno się pojawią. Sesje korzystające z biblioteki kluczowych terminów są rozliczane według tego samego dodatkowego kosztu co podpowiadanie kluczowych terminów.

Więcej informacji znajdziesz w dokumentacji biblioteki kluczowych terminów.

Przewidywanie tury

Wykrywanie aktywności głosowej (VAD) oparte na ciszy zatwierdza segment transkrypcji po okresie ciszy. Krótki próg ciszy ucina wypowiedzi mówców podczas pauz, a długi powoduje opóźnienia. Przewidywanie tury korzysta z kontekstu rozmowy, aby ocenić, czy mówca zakończył swoją wypowiedź, dzięki czemu rozmówca robiący pauzę w środku numeru telefonu nie zostanie przerwany. To samo wykrywanie tury wykorzystuje ElevenAgents.

Więcej informacji znajdziesz w sekcji przewidywanie tury.

Diaryzacja w czasie rzeczywistym

Ustaw diarize=true, aby oznaczać, kto mówi w transkrypcjach w czasie rzeczywistym. Wstępne etykiety mówców pojawiają się w częściowych transkrypcjach, a po każdej zatwierdzonej transkrypcji przesyłana jest osobna transkrypcja z diaryzacją — bez opóźniania zatwierdzonego tekstu.

Więcej informacji znajdziesz w przewodniku po diaryzacji mówców w czasie rzeczywistym.

Formatowanie liczb

Wybierz, czy liczby w transkrypcji mają być zapisywane cyframi (42), czy słownie (czterdzieści dwa). Jeśli nie ustawisz formatu, wybierze go model.

Więcej informacji znajdziesz w sekcji opcje liczb i języków.

Audio w wielu językach

Gdy mówcy używają więcej niż jednego języka, podaj języki, których się spodziewasz, aby model mógł dokładnie transkrybować każdy z nich. W przypadku audio w czasie rzeczywistym tryb wielojęzyczny transkrybuje każdy język w jego własnym piśmie i śledzi zmiany języka w środku zdania.

Scribe nie tłumaczy. Mowa jest transkrybowana w języku, w którym została wypowiedziana.

Więcej informacji znajdziesz w sekcji opcje liczb i języków dla transkrypcji wsadowej oraz opcje językowe w czasie rzeczywistym dla transkrypcji w czasie rzeczywistym.

Tryb bez dosłownej transkrypcji

Gdy włączysz no_verbatim, model usuwa z transkrypcji wypełniacze, fałszywe początki i niepłynności. Daje to czystszy wynik, odpowiedni dla napisów, podsumowań i innych zastosowań, w których czytelność jest ważniejsza niż zapisanie każdego wypowiedzianego słowa.

Wykrywanie encji

Modele wsadowe i modele czasu rzeczywistego mogą wykrywać w transkrypcji kilka kategorii encji oraz podawać ich dokładne znaczniki czasu. Jest to przydatne do wyróżniania numerów kart kredytowych, imion, schorzeń lub numerów ubezpieczenia społecznego.

Pełną listę obsługiwanych encji znajdziesz w dokumentacji wykrywania encji.

Edycja transkrypcji

Przekaż instrukcję w języku naturalnym w parametrze transcript_edit, a zostanie zastosowana do gotowej transkrypcji. Edytowany tekst jest zwracany w edited_transcript obok oryginalnej transkrypcji, więc znaczniki czasu i etykiety mówców pozostają bez zmian. Jest to przydatne do ujednolicania zapisu dat, godzin lub jednostek, stosowania innego stylu albo przepisania transkrypcji w jednym żądaniu.

Więcej informacji znajdziesz w dokumentacji edycji transkrypcji oraz przewodniku po edycji transkrypcji w czasie rzeczywistym.

Obsługiwane języki

Scribe v3 i Scribe v2 obsługują ponad 90 języków, w tym:

Afrykanerski (afr), amharski (amh), arabski (ara), ormiański (hye), asamski (asm), asturyjski (ast), azerski (aze), białoruski (bel), bengalski (ben), bośniacki (bos), bułgarski (bul), birmański (mya), kantoński (yue), kataloński (cat), cebuański (ceb), cziczewa (nya), chorwacki (hrv), czeski (ces), duński (dan), niderlandzki (nld), angielski (eng), estoński (est), filipiński (fil), fiński (fin), francuski (fra), fulani (ful), galicyjski (glg), ganda (lug), gruziński (kat), niemiecki (deu), grecki (ell), gudżarati (guj), hausa (hau), hebrajski (heb), hindi (hin), węgierski (hun), islandzki (isl), igbo (ibo), indonezyjski (ind), irlandzki (gle), włoski (ita), japoński (jpn), jawajski (jav), kabowerdyjski (kea), kannada (kan), kazachski (kaz), khmerski (khm), koreański (kor), kurdyjski (kur), kirgiski (kir), lao (lao), łotewski (lav), lingala (lin), litewski (lit), luo (luo), luksemburski (ltz), macedoński (mkd), malajski (msa), malajalam (mal), maltański (mlt), mandaryński chiński (zho), maoryski (mri), marathi (mar), mongolski (mon), nepalski (nep), północny sotho (nso), norweski (nor), oksytański (oci), orija (ori), paszto (pus), perski (fas), polski (pol), portugalski (por), pendżabski (pan), rumuński (ron), rosyjski (rus), serbski (srp), shona (sna), sindhi (snd), syngaleski (sin), słowacki (slk), słoweński (slv), somalijski (som), hiszpański (spa), suahili (swa), szwedzki (swe), tamilski (tam), tadżycki (tgk), telugu (tel), tajski (tha), turecki (tur), ukraiński (ukr), umbundu (umb), urdu (urd), uzbecki (uzb), wietnamski (vie), walijski (cym), wolof (wol), xhosa (xho) i zulu (zul).

Szczegóły obsługi języków

Word Error Rate (WER) to kluczowy wskaźnik używany do oceny dokładności systemów transkrypcji. Mierzy liczbę błędów w transkrypcji w porównaniu z transkrypcją referencyjną. Poniżej znajdziesz WER dla każdego języka obsługiwanego przez Scribe v2.

FAQ

Najważniejsze informacje

• Obsługiwane dane wejściowe: akceptowane są pliki audio i wideo
• Maksymalny rozmiar pliku: 5 GB
• Maksymalna długość: 15 godzin (tryb standardowy), łącznie 15 godzin dla wszystkich kanałów (tryb wielokanałowy)
• Tryb wielokanałowy: do 5 kanałów; każdy przetwarzany niezależnie z identyfikatorem mówcy przypisanym według numeru kanału
• Webhooki: asynchroniczne wyniki transkrypcji mogą być dostarczane do webhooka — skonfiguruj je w ustawieniach workspace
• Obsługiwane formaty audio: AAC, AIFF, OGG, MP3, OPUS, WAV, FLAC, M4A, WebM
• Obsługiwane formaty wideo: MP4, AVI, MKV, MOV, WMV, FLV, WebM, MPEG, 3GPP