Cómo usar una API de transcripción de reuniones: en tiempo real y por lotes con Scribe v2

Tomar notas de reuniones manualmente es tedioso y propenso a errores, especialmente cuando una reunión dura más de una hora. Esto hace perder tiempo y distrae a asistentes de la conversación. Incluso con una grabación de audio, asignar conversaciones concretas a cada hablante resulta difícil. 

Una API de transcripción de reuniones te permite convertir reuniones en directo o grabadas en texto con marcas de tiempo y etiquetas de hablante dentro de tu producto. Envías audio y recibes una transcripción estructurada, sin necesidad de crear tú mismo un modelo de voz.

Este artículo explica cómo funciona una API de transcripción de reuniones, compara la transcripción en tiempo real y por lotes, y muestra cómo desarrollar con Eleven Scribe v2 y Eleven Scribe v2 Realtime.

Resumen

• Una API de transcripción de reuniones convierte el audio de una reunión en transcripciones con marcas de tiempo y etiquetas de hablante.
• Transcripción en tiempo real ofrece subtítulos durante la reunión con baja latencia, mientras que la transcripción por lotes procesa grabaciones de audio después de que termine la reunión.
• La precisión de la transcripción de reuniones depende de la calidad del audio, los patrones de voz de hablantes y el modelo de voz subyacente. 
• ElevenLabs ofrece los modelos Scribe v2 y Scribe v2 Realtime, que permiten a equipos de ingeniería crear productos de transcripción de reuniones muy precisos. 

Qué hace una API de transcripción de reuniones y quién la necesita

Una API de transcripción de reuniones recibe el audio de una reunión y devuelve texto. Gestiona el reconocimiento de voz, la diarización de hablantes y las marcas de tiempo, ofreciéndote un conjunto completo de herramientas. Frente a tomar notas manualmente, la conversión de voz a texto para reuniones ofrece a asistentes un registro consultable al que pueden volver.

A medida que más equipos adoptan agentes de IA, los registros escritos de reuniones se convierten en contexto consultable. Un agente interno busca detalles en las transcripciones y muestra información que reduce los silos de datos y mejora el acceso a la información entre equipos.

Muchas herramientas comerciales ofrecen transcripción, pero puede que no cumplan por completo los requisitos de una organización.

Para equipos de ingeniería de producto, crear una app STT para reuniones o incorporar esta capacidad a una herramienta existente es a veces más viable. Con tu propio software de transcripción de reuniones, tienes control sobre lo siguiente:

• Privacidad: ElevenLabs ofrece el modo de retención cero para usuarios empresariales, lo que ayuda a cumplir los requisitos de privacidad en determinadas regiones. 
• Vocabulario personalizado: Proporcionas contexto adicional al modelo para que pueda comprender y transcribir términos específicos de tu empresa, producto y sector. 
• Workflow a medida: En lugar de limitarte a workflows específicos de un proveedor, creas una herramienta de transcripción de reuniones que se conecta con tu base de datos interna, CRM y software empresarial. 

ElevenLabs ofrece modelos líderes de voz y audio que te ayudan a crear una app de transcripción de reuniones. Con nuestra API de transcripción de reuniones, puedes recoger con precisión lo que se dice en una reunión en forma de notas de texto. Nuestros modelos admiten más de 90 idiomas, lo que te permite transcribir en inglés, francés, mandarín y decenas de idiomas más. 

Voz a texto para reuniones en tiempo real o por lotes: cómo elegir 

La transcripción en tiempo real captura flujos de audio a medida que se habla y los convierte en subtítulos en directo. Puedes usarla para ofrecer ayuda textual durante la reunión o activar acciones a mitad de sesión con un bot en directo. Por su parte, las transcripciones por lotes procesan toda la grabación después de una reunión para ofrecer una transcripción más concisa y estructurada. La transcripción por lotes ayuda a crear notas posteriores a la reunión, llevar registros y mantener registros auditables. 

Es importante comprender las implicaciones técnicas y de coste al elegir entre la transcripción de voz a texto en tiempo real o por lotes. 

Aquí tienes una comparación rápida entre ambos enfoques.

En última instancia, tu elección depende de tus prioridades. Si estás creando un asistente de reuniones en directo, debes transcribir en tiempo real. De lo contrario, puedes usar la transcripción por lotes, que ofrece ventajas de coste y precisión. 

Cómo configurar una API de transcripción de reuniones con Scribe v2

Voz a Texto de ElevenLabs te permite transcribir reuniones con Scribe v2 Realtime y Scribe v2. Ambos modelos de voz están entrenados para etiquetar con precisión a hablantes con distintos acentos, dialectos y calidades de audio. Scribe v2 Realtime te permite transcribir voz en directo al instante, mientras que Scribe v2 convierte grabaciones de audio en transcripciones de alta precisión. 

Puedes acceder a ambos modelos mediante la API que proporcionamos. A continuación, exploramos cada modelo en detalle y destacamos sus funciones principales, la arquitectura de la API y formas de integrarlo con tu solución de transcripción. 

Opción 1: Transcripción en tiempo real (en directo) 

La transcripción en tiempo real te permite procesar conversaciones durante una reunión y convertirlas en texto mientras hablan los participantes. Apenas hay pausas perceptibles, o ninguna, entre la voz audible y la voz transcrita. 

Para transcribir en tiempo real, usa el modelo Scribe v2 Realtime, que alcanza una baja latencia de 150 ms entre la entrada de audio y la salida de texto (transcripciones parciales casi instantáneas). Esto significa que tendrás subtítulos sin interrupciones al integrar el modelo en tu app de transcripción. 

Diseñado para admitir conversaciones en directo, Scribe v2 Realtime es adecuado para casos de uso que requieren subtítulos en directo, generar notas de reuniones en tiempo real o enviar texto en directo a un asistente de IA para activar acciones secundarias. Además, el modelo admite hasta 50 términos clave para prompting. 

Cómo transcribir con Scribe v2 Realtime

Para realizar transcripción en directo, conecta tu producto a Scribe v2 Realtime mediante ElevenAPI. 

1. Primero, abre un WebSocket para que tu producto pueda recibir transcripciones del modelo Scribe v2 Realtime. 
2. A continuación, envía al modelo flujos de conversaciones de reuniones en directo. 
3. Por último, recibe transcripciones parciales y finales en menos de 150 ms. 

En tu código, creas controladores para eventos de la API que se producen durante todo el proceso de transcripción. Por ejemplo, tu código gestiona eventos al enviar datos de audio y recibir una transcripción confirmada. 

Métodos de streaming en directo para Scribe v2 Realtime

El ejemplo siguiente crea un token de un solo uso en tu backend. Tu cliente puede transmitir audio de reuniones a la API de transcripción de reuniones sin exponer tu clave de API.

// Node.js server
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient({
  apiKey: process.env.ELEVENLABS_API_KEY,
});

app.get("/scribe-token", yourAuthMiddleware, async (req, res) => {
  const token = await elevenlabs.tokens.singleUse.create("realtime_scribe");

  res.json(token);
});

Según la arquitectura de tu app, puedes transmitir conversaciones en directo con Scribe v2 Realtime desde la app cliente o el servidor backend.

• Streaming del lado del cliente: Con este método, envías la entrada de audio al modelo de audio directamente desde el micrófono o mediante fragmentación manual. Para conectarte con la API, te validas con un token de un solo uso, lo que evita exponer tu clave de API. 
• Streaming del lado del servidor: Este método te permite transmitir audio directamente desde una URL, archivos subidos o un flujo de audio. Usas tu clave de API de ElevenLabs en lugar de un token de un solo uso. 

Elegir una estrategia de confirmación para Scribe v2 Realtime

El ejemplo siguiente configura la detección de actividad de voz. La API confirmará un segmento de transcripción cada vez que un hablante haga una pausa.

import { Scribe, AudioFormat, CommitStrategy } from "@elevenlabs/client";

const connection = Scribe.connect({
  token: "sutkn_1234567890",
  modelId: "scribe_v2_realtime",
  audioFormat: AudioFormat.PCM_16000,
  commitStrategy: CommitStrategy.VAD,
  vadSilenceThresholdSecs: 1.5,
  vadThreshold: 0.4,
  minSpeechDurationMs: 100,
  minSilenceDurationMs: 100,
});

La transcripción final proporciona registros probatorios que capturan con precisión lo que se dice en la reunión. Hay dos formas de confirmar las transcripciones finales: manualmente o con la detección de actividad de voz (VAD). 

• Confirmación manual: De forma predeterminada, debes confirmar manualmente el segmento de transcripción en tu código. Recomendamos confirmar cada 20 o 30 segundos para lograr una latencia óptima. Si te preocupa perder contexto, puedes enviar el texto anterior junto con el segmento de audio que se va a procesar.
• Detección de actividad de voz: Como alternativa, puedes usar VAD, que detecta silencios en el flujo de audio para iniciar la transcripción. 

Opción 2: Transcripción por lotes (posterior a la reunión) 

La transcripción por lotes es una forma eficaz de convertir horas de grabaciones de reuniones en formato de texto. Proporciona transcripciones concisas, relevantes para el contexto y con diarización a escala.

Scribe v2 es un modelo de voz a texto de ElevenLabs compatible con el etiquetado dinámico de audio. Puedes extraer con precisión datos de conversaciones, junto con eventos no verbales como risas y pasos. 

A diferencia de la transcripción en tiempo real, Scribe v2 está diseñado para notas de reuniones posteriores a la grabación. Por ejemplo, grabas reuniones en plataformas como Zoom, Teams y Google Meet. Después, subes los archivos de audio a Scribe v2 tras la sesión para realizar una transcripción por lotes. 

Cómo transcribir por lotes con Scribe v2 

La transcripción con Scribe v2 se realiza de forma asíncrona mediante una API REST. No necesitas mantener una conexión activa con el modelo de voz. En su lugar, usas un webhook para recibir un aviso cuando la transcripción esté lista.

A continuación se muestra el flujo lógico que convierte grabaciones de audio en una transcripción.

1. Primero, crea un webhook en el panel de ElevenLabs para recibir los resultados de la transcripción.
2. Después, crea controladores de eventos en tu código para procesar la transcripción devuelta. 
3. A continuación, sube archivos de audio a la ruta REST de Scribe v2. 

Una vez finalice la transcripción, se invocará el controlador de eventos que hayas configurado. 

Prompting de palabras clave para Scribe v2

Scribe v2 (por lotes) admite hasta 1000 términos para prompting de palabras clave. Cuando envías un archivo de audio para transcribirlo, puedes incluir los términos en la llamada a la API. A diferencia de una lista de vocabulario, Scribe v2 compara los términos de palabras clave con el contexto de la conversación para determinar la transcripción adecuada.

Esto permite al modelo prestar especial atención cuando alguien dice términos específicos y transcribirlos con precisión. 

El ejemplo siguiente incluye términos de empresa y producto en la solicitud, lo que significa que la API los transcribirá correctamente según el contexto. 

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
    model_id="scribe_v2_realtime",
    keyterms=["ElevenLabs"],
))

Por ejemplo, transcribe «ElevenLabs» cuando pronuncias la palabra en contexto como una marca o empresa. 

Transcripción multicanal para Scribe v2

Transcripción multicanal permite al modelo Scribe v2 transcribir canales individuales de un archivo de audio con voz de hablantes distintos. Esta función es útil si estás creando una herramienta de transcripción para conferencias, grabaciones judiciales o pódcasts. 

Cada canal se etiquetará con un identificador único que representa a un hablante.

Desafíos habituales de la transcripción de reuniones y cómo los gestiona la API 

Al transcribir reuniones, equipos de ingeniería suelen afrontar varios desafíos.

Conversaciones superpuestas 

Que varias personas hablen a la vez dificulta entender lo que se dice. Para distinguir a hablantes, usa diarización o transcripción multicanal, que ofrece Scribe v2. De este modo, recibes transcripciones independientes etiquetadas para los respectivos hablantes.

Interpretaciones erróneas

Otro problema al que se enfrentan las herramientas de transcripción es detectar e interpretar con precisión productos, marcas o términos específicos del sector. Por ejemplo, «DevOps», un término conocido por desarrolladores de software, podría transcribirse erróneamente como «dev ops». Con la API de transcripción de reuniones de ElevenLabs, puedes guiar al modelo para que interprete correctamente mediante prompting de términos clave.

Hablantes multilingües

Algunas reuniones se celebran en distintos idiomas, y los hablantes alternan entre dos o más lenguas que dominan. Los modelos de voz estándar tienen dificultades para interpretar el contexto y el contenido hablado, lo que da lugar a una mala calidad de transcripción. Scribe v2 permite la transcripción multilingüe en más de 90 idiomas, capturando con precisión las conversaciones a medida que se desarrollan. 

Subtítulos en directo y transcripción posterior a la grabación

Algunos equipos necesitan proyectar subtítulos en directo y generar una transcripción tras la reunión. Por desgracia, no todas las herramientas de transcripción listas para usar ofrecen ambas funciones. La API de ElevenLabs te permite hacer ambas cosas con Scribe v2 y Scribe v2 Realtime. 

Empieza con la API de transcripción de reuniones

ElevenAPI te da acceso a modelos líderes de Voz a Texto para crear herramientas de transcripción para reuniones. Configurar un entorno de desarrollo es sencillo. Obtienes una clave de API e instalas el SDK para Python o Node.js. Después, integras Scribe v2 o Scribe v2 Realtime en tu producto mediante la API proporcionada. 

Accede a ElevenLabs y envía tu primera solicitud a la API ahora. 

Preguntas frecuentes