React SDK
useScribe: Speech-to-Text-Transkription in Echtzeit mit React
Eine Übersicht über Scribe und seine Funktionen finden Sie in der Speech to Text- Übersicht. Schritt-für-Schritt-Anleitungen finden Sie unter Clientseitiges Streaming.
Installation
Verwenden Sie die ElevenLabs-Speech-to-Text-Skill, um Audio mit Ihrem KI-Coding-Assistenten zu transkribieren:
@elevenlabs/react exportiert alles aus @elevenlabs/client erneut. Sie müssen daher nicht
beide Pakete installieren.
Verwendung
Hier ist ein minimales funktionierendes Beispiel, das eine Verbindung zu Scribe herstellt und Transkriptionen in Echtzeit anzeigt:
Token abrufen
Scribe benötigt zur Authentifizierung ein Einmal-Token. Erstellen Sie einen API-Endpunkt auf Ihrem Server:
Ihr ElevenLabs API-Schlüssel ist vertraulich. Geben Sie ihn niemals an den Client weiter. Generieren Sie das Token immer auf dem Server.
Hook-Optionen
Konfigurieren Sie den Hook mit Standardoptionen und Callbacks:
Verbindungsoptionen
VAD-Optionen
Diese Optionen steuern, wann Transkripte bei Verwendung der VAD-Commit-Strategie automatisch übernommen werden.
Audiooptionen
Das microphone-Objekt akzeptiert:
Verhaltensoptionen
Callbacks
Alle Event-Callbacks sind optional und können als Hook-Optionen angegeben werden:
- onConnect – Handler, der aufgerufen wird, wenn die WebSocket-Verbindung hergestellt ist.
- onDisconnect – Handler, der aufgerufen wird, wenn die WebSocket-Verbindung geschlossen wird.
- onSessionStarted – Handler, der beim Start der Scribe-Sitzung aufgerufen wird.
- onPartialTranscript – Handler, der mit vorläufigen Transkriptionsergebnissen aufgerufen wird. Erhält
{ text: string }. - onCommittedTranscript – Handler, der mit finalen Transkriptionsergebnissen aufgerufen wird. Erhält
{ text: string }. - onCommittedTranscriptWithTimestamps – Handler, der mit finalen Transkriptionsergebnissen einschließlich Zeitangaben auf Wortebene aufgerufen wird. Erhält
{ text: string; words?: { start: number; end: number }[] }. - onError – Allgemeiner Error-Handler für alle Fehler. Erhält
Error | Event. - onAuthError – Handler, der bei Authentifizierungsfehlern aufgerufen wird. Erhält
{ error: string }.
Fehler-Callbacks
Der allgemeine Callback onError wird bei allen Fehlern ausgelöst. Für eine detaillierte Behandlung stehen auch spezifische Fehler-Callbacks zur Verfügung. Alle spezifischen Fehler-Callbacks erhalten { error: string }.
Mikrofonmodus
Audio direkt vom Mikrofon des Benutzers streamen:
Manueller Audiomodus (Dateitranskription)
Vorab aufgezeichnete Audiodateien transkribieren:
Rückgabewerte
Status
- status – Aktueller Verbindungsstatus:
"disconnected","connecting","connected","transcribing"oder"error". - isConnected – Boolean, der angibt, ob eine Verbindung besteht.
- isTranscribing – Boolean, der angibt, ob gerade transkribiert wird.
- partialTranscript – Aktueller String des partiellen (vorläufigen) Transkripts.
- committedTranscripts – Array mit
TranscriptSegment-Objekten (siehe unten). - error – Aktuelle Fehlermeldung oder
null.
Jedes übernommene Transkriptsegment hat die folgende Struktur:
Methoden
connect(options?)
Mit Scribe verbinden. Hier angegebene Optionen überschreiben die Hook-Standardwerte:
disconnect()
Verbindung trennen und Ressourcen bereinigen:
sendAudio(audioBase64, options?)
Audiodaten senden (nur manueller Modus):
Das Feld previousText kann nur im ersten Audio-Chunk einer Sitzung gesendet werden. Das Senden in
nachfolgenden Chunks führt zu einem Fehler.
commit()
Die aktuelle Transkription manuell übernehmen:
clearTranscripts()
Alle Transkripte aus dem Status entfernen:
getConnection()
Die zugrunde liegende Verbindungsinstanz abrufen:
Commit-Strategien
Steuern, wann Transkriptionen übernommen werden:
Weitere Details finden Sie unter Transkripte und Commit-Strategien.
Vollständiges Beispiel
Hier ist ein vollständiges Beispiel einer React-Komponente, die den useScribe-Hook mit einer VAD-basierten Commit-Strategie verwendet: