Jak działa Scribe v2 Realtime

Scribe v2 Realtime to niezwykle szybki model Speech to Text, którego możesz używać do transkrypcji na żywo. Połączenie szybkości i jakości umożliwia zastosowania, które wcześniej nie były możliwe.

Na przykład dzięki Scribe v2 Realtime i Chrome Translator API stworzyliśmy ten tłumacz językowy działający w czasie rzeczywistym.

Jeśli chcesz zobaczyć instrukcję krok po kroku do tego demo, znajdziesz ją tutaj. Ten przewodnik skupia się na ogólnym działaniu Scribe v2 Realtime.

Model

ElevenLabs oferuje dwa modele do transkrypcji audio: Scribe v2 i Scribe v2 Realtime.

Scribe v2 świetnie sprawdza się przy transkrypcji asynchronicznej, a Scribe v2 Realtime — gdy potrzebujesz transkrypcji na żywo.

W aplikacji do tłumaczenia języka na żywo Scribe v2 Realtime jest oczywistym wyborem.

API

Aby użyć tego modelu, potrzebujesz Speech to Text API. Na początek wykonaj dwa kroki:

1. Zainicjuj instancję Scribe
2. Połącz się z API

Sposób inicjalizacji API zależy od miejsca, z którego je wywołujesz. Po stronie serwera możesz zainicjować je bezpośrednio kluczem API, a następnie użyć tej instancji, by połączyć się z Scribe v2 Realtime.

Ale ujawnienie klucza API po stronie klienta stanowi duże ryzyko dla bezpieczeństwa. Jeśli więc streamujesz po stronie klienta, musisz użyć tokenu jednorazowego.

Ponieważ tworzymy aplikację React, użyjemy tokenu. Przekazujesz go podczas łączenia, więc utworzenie instancji Scribe jest bardzo proste.

import { useScribe } from "@elevenlabs/react";

function MyComponent() {
  const scribe = useScribe({
    modelId: "scribe_v2_realtime",
  });
  
  //...
}

Łączenie z Scribe v2 Realtime

Po odpowiedniej inicjalizacji możesz połączyć się z Scribe v2 Realtime. W projekcie tłumacza językowego w React użyliśmy streamingu po stronie klienta, dlatego potrzebowaliśmy jednorazowego tokenu z backendu. Token trzeba generować i przekazywać przy każdym połączeniu z API.

const handleStart = async () => {
  const token = await fetchTokenFromServer();

  await scribe.connect({
    token,
    microphone: {
	  echoCancellation: true,
	  noiseSuppression: true,
    },
  });
};

Strategia zatwierdzania

W Scribe v2 Realtime są dwa rodzaje transkrypcji: częściowe i zatwierdzone.

Częściowe transkrypcje to „transkrypcje na żywo”. Są przesyłane przez websocket i zwracane w trakcie mówienia. Jeśli powiesz „Kot jest...”, zobaczysz te słowa przesyłane w czasie rzeczywistym.

Drugi rodzaj to transkrypcja zatwierdzona. Transkrypcje działają w segmentach. To, kiedy i jak je zatwierdzasz, określa podział transkrypcji na segmenty. W tym celu musisz zdefiniować strategię zatwierdzania.

Są dwie strategie zatwierdzania. Pierwsza jest ręczna i daje ci pełną kontrolę nad tym, kiedy transkrypcje zostaną zatwierdzone. Najlepiej robić to podczas ciszy lub w innych logicznych momentach, np. przy zmianie rozmówcy.

Druga opcja to pozwolić Scribe v2 Realtime samodzielnie określać dobre segmenty za pomocą Voice Activity Detection (VAD). To podejście automatycznie wykrywa fragmenty mowy i ciszy. Po osiągnięciu progu ciszy silnik transkrypcji automatycznie zatwierdza segment.

Po co w ogóle strategia zatwierdzania?

Gdy mówisz, Scribe v2 Realtime transkrybuje każde słowo. Jeśli więc powiesz po angielsku „I scream...”, może to zostać rozpoznane jako „Ice cream...”. Jednak przy pełnym kontekście segmentu „I scream every time I see a spider in the bathroom,” wynik jest dokładniejszy.

Dlatego częściowe transkrypcje możesz wyświetlać w czasie rzeczywistym, a zatwierdzone mogą być dokładniejszym zapisem historii rozmowy.

Wyświetlanie transkrypcji

Po połączeniu z Scribe v2 Realtime transkrypcja już trwa. Dostęp do niej uzyskasz przez właściwości partialTranscript i committedTranscripts.

<div>
  <button onClick={handleStart} disabled={scribe.isConnected}>
	Start Recording
  </button>
  <button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
	Stop
  </button>

  {scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}

  <div>
	{scribe.committedTranscripts.map((t) => (
	  <p key={t.id}>{t.text}</p>
	))}
  </div>
</div>

partialTranscript to transkrypcja na żywo bieżącego segmentu. committedTranscript to historia rozmowy — lista segmentów zatwierdzonych podczas połączenia z Scribe v2 Realtime.

Tłumacz z AI

To wszystko, czego potrzebujesz, aby uzyskać transkrypcje rozmów na żywo. Teraz możesz dodać aplikacji ładny interfejs lub kolejne funkcje, takie jak tłumaczenie języka na żywo.

Aby stworzyć tłumacza językowego na żywo z demo, przekazujesz transkrypcje do Chrome AI Translator API i wyświetlasz wynik w czasie rzeczywistym.

Zacznij tworzyć

Dziękujemy za lekturę! Zarejestruj się w ElevenLabs i zacznij tworzyć swoje aplikacje!