Streaming en el cliente | ElevenLabs Documentation

Guía práctica · Da por hecho que has completado la guía de inicio rápido de Voz a Texto .

Descripción general

La API de Voz a Texto en Tiempo Real de ElevenLabs te permite transcribir flujos de audio en tiempo real con una latencia ultrabaja mediante el modelo Scribe Realtime v2. Tanto si estás creando asistentes de voz, servicios de transcripción o cualquier aplicación que requiera reconocimiento de voz en directo, esta API basada en WebSocket proporciona transcripciones parciales mientras hablas y transcripciones confirmadas cuando se completan los segmentos de voz.

Scribe v2 Realtime puede implementarse en el lado del cliente para transcribir audio en tiempo real, ya sea a través del micrófono o dividiendo manualmente el audio en fragmentos.

La implementación en el lado del cliente se diferencia de la del lado del servidor en algunos aspectos:

Requiere un token de un solo uso: es un token temporal que puede utilizarse para conectarse a la API sin exponer tu clave de API.
El audio del micrófono puede enviarse directamente a la API para transcribirlo, sin necesidad de dividirlo manualmente en fragmentos.

Para transmitir audio desde una URL, consulta la guía de transmisión en el lado del servidor.

Inicio rápido

Esta guía da por hecho que has configurado tu clave de API. Completa primero la guía de inicio rápido si aún no lo has hecho.

Instala el SDK

npm install @elevenlabs/react @elevenlabs/elevenlabs-js

Crea un token

Para utilizar el SDK del lado del cliente, debes crear un token de un solo uso. Es un token temporal que puede utilizarse para conectarse a la API sin exponer tu clave de API. Puedes hacerlo a través de la API de ElevenLabs en el lado del servidor.

Nunca expongas tu clave de API en el cliente.

// Node.js server
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";
const elevenlabs = new ElevenLabsClient({
  apiKey: process.env.ELEVENLABS_API_KEY,
});
app.get("/scribe-token", yourAuthMiddleware, async (req, res) => {
  const token = await elevenlabs.tokens.singleUse.create("realtime_scribe");
  res.json(token);
});

Un token de un solo uso caduca automáticamente después de 15 minutos.

Inicia la sesión de transcripción

La transcripción puede realizarse mediante el micrófono o dividiendo manualmente tu propio audio en fragmentos. Tu propio audio puede ser un archivo o un flujo.

Para consultar la lista completa de parámetros y opciones compatibles con la API, consulta la referencia de la API.

Micrófono

División manual del audio en fragmentos

import { useScribe } from "@elevenlabs/react";
function MyComponent() {
  const scribe = useScribe({
    modelId: "scribe_v2_realtime",
    onPartialTranscript: (data) => {
      console.log("Partial:", data.text);
    },
    onCommittedTranscript: (data) => {
      console.log("Committed:", data.text);
    },
    onCommittedTranscriptWithTimestamps: (data) => {
      console.log("Committed with timestamps:", data.text);
      console.log("Timestamps:", data.words);
    },
  });
  const handleStart = async () => {
    // Fetch a single use token from the server
    const token = await fetchTokenFromServer();
    await scribe.connect({
      token,
      microphone: {
        echoCancellation: true,
        noiseSuppression: true,
      },
    });
  };
  return (
    <div>
      <button onClick={handleStart} disabled={scribe.isConnected}>
        Start Recording
      </button>
      <button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
        Stop
      </button>
      {scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}
      <div>
        {scribe.committedTranscripts.map((t) => (
          <p key={t.id}>{t.text}</p>
        ))}
      </div>
    </div>
  );
}

Próximos pasos

Transmisión en el lado del servidor

Transcribe flujos de audio en el lado del servidor con la misma API de WebSocket.

Transcripciones y estrategias de confirmación

Controla cuándo se confirman las transcripciones y cómo gestionar los resultados parciales.