So funktioniert Scribe v2 Realtime

Scribe v2 Realtime ist ein extrem schnelles Speech to Text-Modell für Live-Transkriptionen. Die Kombination aus Geschwindigkeit und Qualität ermöglicht Einsatzmöglichkeiten, die bisher nicht möglich waren.

Damit konnten wir beispielsweise diesen Echtzeit-Sprachübersetzer mit Scribe v2 Realtime und der Chrome Translator API entwickeln.

Wenn Sie die Schritt-für-Schritt-Anleitung für diese Demo möchten, finden Sie sie hier. Dieser Leitfaden vermittelt ein grundlegendes Verständnis von Scribe v2 Realtime und seiner Funktionsweise.

Das Modell

ElevenLabs bietet zwei Modelle zur Audiotranskription: Scribe v2 und Scribe v2 Realtime.

Scribe v2 eignet sich hervorragend für asynchrone Transkriptionen. Scribe v2 Realtime kommt zum Einsatz, wenn die Transkription live erfolgen muss.

Für eine Live-Sprachübersetzungsanwendung ist Scribe v2 Realtime die naheliegende Wahl.

Die API

Um dieses Modell zu nutzen, benötigen Sie die Speech to Text API. Dafür sind zwei Schritte erforderlich:

1. Eine Scribe-Instanz initialisieren
2. Mit der API verbinden

Je nachdem, von wo Sie diese API aufrufen, müssen Sie sie unterschiedlich initialisieren. Beim serverseitigen Aufruf können Sie sie direkt mit dem API-Schlüssel initialisieren und diese Instanz anschließend mit Scribe v2 Realtime verbinden.

Allerdings ist die Weitergabe eines API-Schlüssels an den Client ein großes Sicherheitsrisiko. Wenn Sie clientseitig streamen, müssen Sie daher mit einem Token zur einmaligen Verwendung initialisieren.

Da wir eine React-Anwendung entwickeln, verwenden wir den Token-Ansatz. Der Token wird während der Verbindungsphase übergeben, daher ist das Erstellen einer Scribe-Instanz unkompliziert.

import { useScribe } from "@elevenlabs/react";

function MyComponent() {
  const scribe = useScribe({
    modelId: "scribe_v2_realtime",
  });
  
  //...
}

Mit Scribe v2 Realtime verbinden

Nach der passenden Initialisierung können Sie sich mit Scribe v2 Realtime verbinden. Für das React-Projekt zur Sprachübersetzung haben wir clientseitiges Streaming verwendet und benötigten daher einen Token zur einmaligen Verwendung vom Backend. Dieser Token muss bei jeder Verbindung zur API generiert und übergeben werden.

const handleStart = async () => {
  const token = await fetchTokenFromServer();

  await scribe.connect({
    token,
    microphone: {
	  echoCancellation: true,
	  noiseSuppression: true,
    },
  });
};

Commit-Strategie

Bei der Arbeit mit Scribe v2 Realtime gibt es zwei Arten von Transkripten: partielle und bestätigte.

Die partiellen Transkripte sind die „Live-Transkripte“. Sie werden über einen WebSocket erstellt und während Sie sprechen an Sie zurückgegeben. Wenn Sie also „Die Katze ist ...“ sagen, werden diese Wörter in Echtzeit gestreamt.

Die andere Art ist ein bestätigtes Transkript. Transkriptionen arbeiten mit Segmenten. Wann und wie Sie Ihre Transkriptionen bestätigen, bestimmt die Segmentierung Ihres Transkripts. Dafür müssen Sie eine Commit-Strategie festlegen.

Es gibt zwei Optionen für Commit-Strategien. Die erste ist manuell und gibt Ihnen volle Kontrolle darüber, wann die Transkripte bestätigt werden. Idealerweise tun Sie dies in Sprechpausen oder an anderen logischen Punkten, etwa bei einem Sprecherwechsel.

Die andere Option ist, Scribe v2 Realtime mit Voice Activity Detection (VAD) selbstständig hochwertige Segmente bestimmen zu lassen. Dieser Ansatz erkennt automatisch Sprach- und Stillesegmente. Sobald ein Stille-Schwellenwert erreicht ist, bestätigt die Transkriptions-Engine das Transkriptsegment automatisch.

Warum benötigen Sie überhaupt eine Commit-Strategie?

Während Sie sprechen, transkribiert Scribe v2 Realtime jedes Wort. Wenn Sie also auf Englisch „I scream ...“ sagen, kann dies als „Ice cream ...“ erkannt werden. Mit dem vollständigen Kontext des Segments „I scream every time I see a spider in the bathroom“ ist die Ausgabe jedoch genauer.

Partielle Transkripte können somit in Echtzeit angezeigt werden, während bestätigte Transkripte eine genauere Transkription des Gesprächsverlaufs liefern.

Transkripte anzeigen

Sobald Sie mit Scribe v2 Realtime verbunden sind, läuft die Transkription. Über die Eigenschaften partialTranscript und committedTranscripts erhalten Sie Zugriff auf die Transkripte.

<div>
  <button onClick={handleStart} disabled={scribe.isConnected}>
	Start Recording
  </button>
  <button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
	Stop
  </button>

  {scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}

  <div>
	{scribe.committedTranscripts.map((t) => (
	  <p key={t.id}>{t.text}</p>
	))}
  </div>
</div>

partialTranscript ist das Echtzeit-Transkript des aktuell transkribierten Segments. committedTranscript enthält den Gesprächsverlauf als Liste der Segmente, die während der Verbindung mit Scribe v2 Realtime bestätigt wurden.

Mit KI übersetzen

Das ist alles, was Sie benötigen, um Echtzeit-Transkripte Ihrer Gespräche zu erhalten. Jetzt können Sie die App mit einer ansprechenden Benutzeroberfläche gestalten oder Funktionen wie Live-Sprachübersetzung hinzufügen.

Um den Echtzeit-Sprachübersetzer aus der Demo zu erstellen, übergeben Sie die Transkripte an die Chrome AI Translator API und zeigen die Ausgabe in Echtzeit an.

Jetzt entwickeln

Vielen Dank fürs Lesen. Bei ElevenLabs registrieren und mit der Entwicklung Ihrer Anwendungen starten.