Come funziona Scribe v2 Realtime

Scribe v2 Realtime è un modello di Speech to Text estremamente veloce, utilizzabile per trascrizioni in tempo reale. La combinazione di velocità e qualità consente casi d'uso prima impossibili.

Ad esempio, siamo riusciti a creare questo traduttore linguistico in tempo reale usando Scribe v2 Realtime e la Chrome Translator API.

Se vuoi il tutorial passo passo per questa demo, lo trovi qui. Questa guida si concentra su una panoramica di Scribe v2 Realtime e del suo funzionamento.

Il modello

ElevenLabs offre due modelli per trascrivere audio: Scribe v2 e Scribe v2 Realtime.

Scribe v2 è un'ottima scelta per trascrizioni che possono essere asincrone, mentre Scribe v2 Realtime si usa quando la trascrizione deve avvenire in tempo reale.

Per un'applicazione di traduzione linguistica in tempo reale, Scribe v2 Realtime è la scelta più ovvia.

L'API

Per usare questo modello, devi utilizzare l'API Speech to Text. Per iniziare, devi eseguire due passaggi:

1. Inizializza un'istanza di Scribe
2. Connettiti all'API

A seconda di dove chiami questa API, dovrai inizializzarla in modo diverso. Se la chiami lato server, puoi inizializzarla direttamente con la chiave API e poi usare quell'istanza per connetterti a Scribe v2 Realtime.

Tuttavia, esporre una chiave API al client è un grave rischio per la sicurezza. Quindi, se esegui lo streaming lato client, dovrai inizializzarla con un token monouso.

Dato che stiamo creando un'applicazione React, useremo l'approccio con token. Il token viene passato durante la fase di connessione, quindi creare un'istanza di Scribe è semplicissimo.

import { useScribe } from "@elevenlabs/react";

function MyComponent() {
  const scribe = useScribe({
    modelId: "scribe_v2_realtime",
  });
  
  //...
}

Connessione a Scribe v2 Realtime

Dopo aver eseguito correttamente l'inizializzazione, puoi connetterti a Scribe v2 Realtime. Per il progetto React di traduzione linguistica, abbiamo usato lo streaming lato client e quindi avevamo bisogno di un token monouso dal backend. Questo token deve essere generato e passato ogni volta che ci connettiamo all'API.

const handleStart = async () => {
  const token = await fetchTokenFromServer();

  await scribe.connect({
    token,
    microphone: {
	  echoCancellation: true,
	  noiseSuppression: true,
    },
  });
};

Strategia di commit

Quando lavori con Scribe v2 Realtime, esistono due tipi di trascrizioni: parziali e confermate.

Le trascrizioni parziali sono le "trascrizioni in tempo reale". La trascrizione avviene tramite websocket e ti viene restituita mentre parli. Quindi, se dici "Il gatto è ...", vedrai quelle parole trasmesse in streaming in tempo reale.

L'altro tipo è la trascrizione confermata. Le trascrizioni funzionano per segmenti. Quando e come scegli di confermare le trascrizioni determina la segmentazione della trascrizione. Per farlo, devi definire una strategia di commit.

Esistono due opzioni per le strategie di commit. La prima è manuale e ti offre il pieno controllo per decidere quando confermare le trascrizioni. La buona pratica è farlo durante le pause o in altri punti logici, come al cambio di turno.

L'altra opzione è lasciare che Scribe v2 Realtime determini autonomamente segmenti di qualità usando il rilevamento dell'attività vocale (VAD). Questo approccio rileva automaticamente i segmenti di parlato e di silenzio. Quando viene raggiunta una soglia di silenzio, il motore di trascrizione conferma automaticamente il segmento.

Perché serve una strategia di commit?

Mentre parli, Scribe v2 Realtime trascrive ogni parola. Quindi, se dici "Grido...", potrebbe essere riconosciuto come "Gelido...". Ma quando hai il contesto completo del segmento "Grido ogni volta che vedo un ragno in bagno", l'output è più accurato.

Quindi le trascrizioni parziali possono essere mostrate in tempo reale, mentre quelle confermate possono offrire una trascrizione più accurata della cronologia della conversazione.

Visualizzare le trascrizioni

Dopo esserti connesso a Scribe v2 Realtime, la trascrizione è in corso. Puoi accedere alle trascrizioni usando le proprietà partialTranscript e committedTranscripts.

<div>
  <button onClick={handleStart} disabled={scribe.isConnected}>
	Start Recording
  </button>
  <button onClick={scribe.disconnect} disabled={!scribe.isConnected}>
	Stop
  </button>

  {scribe.partialTranscript && <p>Live: {scribe.partialTranscript}</p>}

  <div>
	{scribe.committedTranscripts.map((t) => (
	  <p key={t.id}>{t.text}</p>
	))}
  </div>
</div>

partialTranscript è la trascrizione in tempo reale del segmento corrente. committedTranscript è la cronologia della conversazione, ovvero un elenco di segmenti confermati durante la connessione a Scribe v2 Realtime.

Tradurre con l'IA

Questo è tutto ciò che devi fare per ottenere trascrizioni in tempo reale delle tue conversazioni. Ora puoi arricchire questa app con una bella UI o aggiungere altre funzionalità, come la traduzione linguistica in tempo reale.

Per creare il traduttore linguistico in tempo reale della demo, passa le trascrizioni alla Chrome AI Translator API e visualizza l'output in tempo reale.

Inizia a creare

Grazie per aver letto! Iscriviti a ElevenLabs e inizia a creare le tue applicazioni!