Como funciona o Scribe v2 Realtime

O Scribe v2 Realtime é um modelo de Speech to Text extremamente rápido, que pode ser usado para transcrições ao vivo. A combinação de velocidade e qualidade possibilita casos de uso que antes não eram viáveis.

Por exemplo, conseguimos criar este tradutor de idiomas em tempo real usando o Scribe v2 Realtime e a API Chrome Translator.

Se quiser o tutorial passo a passo desta demonstração, você pode encontrá-lo aqui. Este guia vai apresentar uma visão geral do Scribe v2 Realtime e de como ele funciona.

O modelo

A ElevenLabs oferece dois modelos para transcrever áudio: Scribe v2 e Scribe v2 Realtime.

O Scribe v2 é uma ótima opção para transcrições assíncronas, enquanto o Scribe v2 Realtime é usado quando você precisa que a transcrição aconteça ao vivo.

Para uma aplicação de tradução de idiomas ao vivo, o Scribe v2 Realtime é a escolha mais indicada.

A API

Para usar este modelo, você precisa usar a API de Speech to Text. Para começar, você precisa seguir duas etapas:

1. Inicializar uma instância do Scribe
2. Conectar-se à API

Dependendo de onde você chama essa API, será necessário inicializá-la de uma forma diferente. Se fizer a chamada no servidor, você poderá inicializá-la diretamente com a chave de API e usar essa instância para se conectar ao Scribe v2 Realtime.

Mas expor uma chave de API ao cliente representa um grande risco de segurança. Portanto, se você estiver transmitindo no cliente, precisará inicializar com um token de uso único.

Como estamos criando uma aplicação React, usaremos a abordagem com token. Esse token é enviado durante a etapa de conexão, o que torna a criação de uma instância do Scribe simples.

import { useScribe } from "@elevenlabs/react";

function MyComponent() {
  const scribe = useScribe({
    modelId: "scribe_v2_realtime",
  });
  
  //...
}

Conexão com o Scribe v2 Realtime

Depois de inicializar corretamente, você pode se conectar ao Scribe v2 Realtime. No projeto de tradução de idiomas em React, usamos transmissão no cliente e, por isso, precisávamos de um token de uso único do backend. Esse token precisa ser gerado e enviado sempre que nos conectamos à API.

const handleStart = async () => {
  const token = await fetchTokenFromServer();

  await scribe.connect({
    token,
    microphone: {
	  echoCancellation: true,
	  noiseSuppression: true,
    },
  });
};

Estratégia de confirmação

Ao trabalhar com o Scribe v2 Realtime, há dois tipos de transcrição: parcial e confirmada.

As transcrições parciais são as "transcrições ao vivo". Essa transcrição acontece via websocket e é enviada a você enquanto fala. Então, se você disser "O gato está ...", verá essas palavras sendo transmitidas em tempo real.

O outro tipo é a transcrição confirmada. As transcrições funcionam em segmentos. Quando e como você escolhe confirmar suas transcrições define como elas serão segmentadas. Para isso, é preciso definir uma estratégia de confirmação.

Há duas opções de estratégia de confirmação. A primeira é manual e dá a você total controle para decidir quando as transcrições serão confirmadas. A prática recomendada é fazer isso durante silêncios ou em outros pontos lógicos, como uma troca de turno na conversa.

A outra opção é deixar que o Scribe v2 Realtime determine sozinho segmentos de qualidade usando a Detecção de Atividade de Voz (VAD). Essa abordagem detecta automaticamente segmentos de fala e silêncio. Quando um limite de silêncio é atingido, o mecanismo de transcrição confirma o segmento automaticamente.

Por que você precisa de uma estratégia de confirmação?

Enquanto você fala, o Scribe v2 Realtime transcreve cada palavra. Então, se você disser "Eu grito...", isso pode ser reconhecido como "É um grito...". Mas, quando há o contexto completo do segmento "Eu grito toda vez que vejo uma aranha no banheiro", o resultado é mais preciso.

Assim, as transcrições parciais podem ser exibidas em tempo real, e as transcrições confirmadas podem oferecer um registro mais preciso do histórico da conversa.

Exibir transcrições

Depois que você se conecta ao Scribe v2 Realtime, a transcrição começa. É possível acessar as transcrições usando as propriedades partialTranscript e committedTranscripts.

<div>
  <button onClick={handleStart} disabled={scribe.isConnected}>
	Start Recording
  </button>
  <button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
	Stop
  </button>

  {scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}

  <div>
	{scribe.committedTranscripts.map((t) => (
	  <p key={t.id}>{t.text}</p>
	))}
  </div>
</div>

partialTranscript é a transcrição em tempo real do segmento atual que está sendo transcrito. committedTranscript é o histórico da conversa: uma lista de segmentos confirmados enquanto há conexão com o Scribe v2 Realtime.

Traduza com IA

Isso é tudo o que você precisa fazer para ter transcrições em tempo real das suas conversas. Agora, você pode criar uma interface agradável para este app ou adicionar recursos como tradução de idiomas ao vivo.

Para criar o tradutor de idiomas em tempo real da demonstração, você envia as transcrições para a API Chrome AI Translator e exibe o resultado em tempo real.

Comece a criar

Agradecemos a leitura! Cadastre-se na ElevenLabs e comece a criar suas aplicações!