Zur Navigation springen

Clientseitiges Streaming

In diesem Leitfaden erfahren Sie, wie Sie Audio mit ElevenLabs clientseitig in Echtzeit transkribieren.

Anleitung · Setzt voraus, dass Sie den Speech to Text- Schnellstart abgeschlossen haben.

Übersicht

Die ElevenLabs API für Echtzeit-Spracherkennung ermöglicht Ihnen, Audiostreams mit extrem niedriger Latenz in Echtzeit mit dem Modell Scribe Realtime v2 zu transkribieren. Ganz gleich, ob Sie Sprachassistenten, Transkriptionsdienste oder Anwendungen entwickeln, die Live-Spracherkennung erfordern: Diese WebSocket-basierte API liefert während des Sprechens Teiltranskripte und abgeschlossene Transkripte, sobald Sprachsegmente vollständig sind.

Scribe v3 Live kann clientseitig implementiert werden, um Audio in Echtzeit zu transkribieren – entweder über das Mikrofon oder durch manuelles Aufteilen des Audios in Chunks.

Die clientseitige Implementierung unterscheidet sich in einigen Punkten von der serverseitigen:

  • Sie erfordert ein Einmal-Token – ein temporäres Token, mit dem Sie sich mit der API verbinden können, ohne Ihren API-Schlüssel offenzulegen.
  • Audio vom Mikrofon kann direkt zur Transkription an die API weitergeleitet werden, ohne das Audio manuell in Chunks aufteilen zu müssen.

Informationen zum Streamen von Audio über eine URL finden Sie im Leitfaden Serverseitiges Streaming.

Schnellstart

Dieser Leitfaden setzt voraus, dass Sie Ihren API-Schlüssel eingerichtet haben. Schließen Sie zuerst den Schnellstart ab, falls noch nicht geschehen.

1

SDK installieren

npm install @elevenlabs/react @elevenlabs/elevenlabs-js
2

Token erstellen

Um das clientseitige SDK zu verwenden, müssen Sie ein Einmal-Token erstellen. Dies ist ein temporäres Token, mit dem Sie sich mit der API verbinden können, ohne Ihren API-Schlüssel offenzulegen. Sie können dies serverseitig über die ElevenLabs API erledigen.

Geben Sie Ihren API-Schlüssel niemals im Client preis.

// Node.js server
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";
const elevenlabs = new ElevenLabsClient({
apiKey: process.env.ELEVENLABS_API_KEY,
});
app.get("/scribe-token", yourAuthMiddleware, async (req, res) => {
const token = await elevenlabs.tokens.singleUse.create("realtime_scribe");
res.json(token);
});

Ein Einmal-Token läuft nach 15 Minuten automatisch ab.

3

Transkriptionssitzung starten

Die Transkription kann entweder über das Mikrofon oder durch manuelles Aufteilen Ihres eigenen Audios in Chunks erfolgen. Ihr eigenes Audio kann eine Datei oder ein Stream sein.

Eine vollständige Liste der von der API unterstützten Parameter und Optionen finden Sie in der API-Referenz.

import { useScribe } from "@elevenlabs/react";
function MyComponent() {
const scribe = useScribe({
modelId: "scribe_v3_live",
onPartialTranscript: (data) => {
console.log("Partial:", data.text);
},
onCommittedTranscript: (data) => {
console.log("Committed:", data.text);
},
onCommittedTranscriptWithTimestamps: (data) => {
console.log("Committed with timestamps:", data.text);
console.log("Timestamps:", data.words);
},
});
const handleStart = async () => {
// Fetch a single use token from the server
const token = await fetchTokenFromServer();
await scribe.connect({
token,
microphone: {
echoCancellation: true,
noiseSuppression: true,
},
});
};
return (
<div>
<button onClick={handleStart} disabled={scribe.isConnected}>
Start Recording
</button>
<button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
Stop
</button>
{scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}
<div>
{scribe.committedTranscripts.map((t) => (
<p key={t.id}>{t.text}</p>
))}
</div>
</div>
);
}

Nächste Schritte