Como funciona o Scribe v2 Realtime

Scribe v2 Realtime é um modelo de Speech to Text extremamente rápido, que pode ser usado para transcrições ao vivo. A combinação de velocidade e qualidade possibilita casos de uso que antes não eram viáveis.

Por exemplo, conseguimos criar este tradutor de idiomas em tempo real usando o Scribe v2 Realtime e a API Chrome Translator.

Se você quiser o tutorial passo a passo desta demonstração, pode encontrá-lo aqui. Este guia vai focar em uma compreensão geral do Scribe v2 Realtime e de como ele funciona.

O modelo

A ElevenLabs oferece dois modelos para transcrever áudio: Scribe v2 e Scribe v2 Realtime.

O Scribe v2 é uma ótima opção para transcrições que podem ser assíncronas, enquanto o Scribe v2 Realtime é usado quando você precisa que a transcrição aconteça ao vivo.

Para uma aplicação de tradução de idiomas ao vivo, o Scribe v2 Realtime é a escolha óbvia.

A API

Para usar este modelo, você precisa usar a API de Speech to Text. Há duas etapas que você precisa executar para começar:

1. Inicializar uma instância do Scribe
2. Conectar-se à API

Dependendo de onde você chama esta API, será necessário inicializá-la de forma diferente. Se você a chama no servidor, pode inicializá-la diretamente com a chave de API e usar essa instância para se conectar ao Scribe v2 Realtime.

Mas expor uma chave de API no cliente representa um grande risco de segurança. Portanto, se você estiver fazendo streaming no cliente, precisará inicializar com um token de uso único.

Como estamos criando uma aplicação em React, usaremos a abordagem com token. Esse token é enviado durante a fase de conexão, então criar uma instância do Scribe é simples.

import { useScribe } from "@elevenlabs/react";

function MyComponent() {
  const scribe = useScribe({
    modelId: "scribe_v2_realtime",
  });
  
  //...
}

Como se conectar ao Scribe v2 Realtime

Depois de inicializar corretamente, você pode se conectar ao Scribe v2 Realtime. Para o projeto de tradução de idiomas em React, usamos streaming no cliente e, por isso, precisávamos de um token de uso único do backend. Esse token precisa ser gerado e enviado sempre que nos conectamos à API.

const handleStart = async () => {
  const token = await fetchTokenFromServer();

  await scribe.connect({
    token,
    microphone: {
	  echoCancellation: true,
	  noiseSuppression: true,
    },
  });
};

Estratégia de confirmação

Ao trabalhar com o Scribe v2 Realtime, há dois tipos de transcrição: parcial e confirmada.

As transcrições parciais são as "transcrições ao vivo". Essa transcrição acontece via websocket e é retornada conforme você fala. Então, se você disser "O gato está ...", verá essas palavras sendo transmitidas em tempo real.

O outro tipo é a transcrição confirmada. As transcrições funcionam em segmentos. Quando e como você escolhe confirmar suas transcrições define como elas serão segmentadas. Para isso, você precisa definir uma estratégia de confirmação.

Há duas opções de estratégia de confirmação. A primeira é manual e dá a você controle total para decidir quando as transcrições são confirmadas. A prática recomendada é fazer isso durante silêncios ou em outros pontos lógicos, como em uma troca de turno na conversa.

A outra opção é deixar que o Scribe v2 Realtime determine sozinho segmentos de qualidade usando a Detecção de Atividade de Voz (VAD). Essa abordagem detecta automaticamente segmentos de fala e silêncio. Quando um limite de silêncio é atingido, o mecanismo de transcrição confirma automaticamente o segmento.

Por que você precisa de uma estratégia de confirmação?

Enquanto você fala, o Scribe v2 Realtime transcreve cada palavra. Então, se você disser "Eu grito...", isso pode ser reconhecido como "O grito...". Mas, quando se tem o contexto completo do segmento "Eu grito toda vez que vejo uma aranha no banheiro", o resultado é mais preciso.

Assim, as transcrições parciais podem ser exibidas em tempo real, e as transcrições confirmadas podem oferecer uma transcrição mais precisa do histórico da conversa.

Exibir transcrições

Depois que você se conecta ao Scribe v2 Realtime, a transcrição começa. Você pode acessar as transcrições usando as propriedades partialTranscript e committedTranscripts.

<div>
  <button onClick={handleStart} disabled={scribe.isConnected}>
	Start Recording
  </button>
  <button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
	Stop
  </button>

  {scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}

  <div>
	{scribe.committedTranscripts.map((t) => (
	  <p key={t.id}>{t.text}</p>
	))}
  </div>
</div>

partialTranscript é a transcrição em tempo real do segmento atual que está sendo transcrito. committedTranscript é o histórico da conversa e consiste em uma lista de segmentos confirmados enquanto você está conectado ao Scribe v2 Realtime.

Traduza com IA

Isso é tudo que você precisa fazer para obter transcrições em tempo real das suas conversas. Agora, você pode dar uma interface bonita a este app ou até adicionar mais recursos, como tradução de idiomas ao vivo.

Para criar o tradutor de idiomas em tempo real da demonstração, você envia as transcrições para a API Chrome AI Translator e exibe o resultado em tempo real.

Comece a criar

Obrigado por ler! Cadastre-se na ElevenLabs e comece a criar suas aplicações!