Come usare un'API di trascrizione delle riunioni: in tempo reale e batch con Scribe v2

Prendere appunti manualmente durante le riunioni è noioso e soggetto a errori, soprattutto quando una riunione dura più di un'ora. Questo fa perdere tempo e distrae i partecipanti dalla discussione. Anche con una registrazione audio, associare conversazioni specifiche ai singoli relatori è difficile. 

Un'API di trascrizione delle riunioni ti consente di trasformare riunioni dal vivo o registrate in testo con timestamp ed etichette dei relatori all'interno del tuo prodotto. Invi l'audio e ricevi una trascrizione strutturata, senza dover creare autonomamente un modello vocale.

Questo articolo spiega come funziona un'API di trascrizione delle riunioni, confronta la trascrizione in tempo reale e batch e mostra come sviluppare con Eleven Scribe v2 e Eleven Scribe v2 Realtime.

In sintesi

• Un'API di trascrizione delle riunioni converte l'audio delle riunioni in trascrizioni con timestamp ed etichette dei relatori.
• La trascrizione in tempo reale offre sottotitoli durante le riunioni a bassa latenza, mentre la trascrizione batch elabora le registrazioni audio dopo la fine della riunione.
• La precisione della trascrizione delle riunioni dipende dalla qualità dell'audio, dai modelli vocali dei relatori e dal modello vocale sottostante. 
• ElevenLabs offre i modelli Scribe v2 e Scribe v2 Realtime, che consentono ai team di ingegneria di creare prodotti per la trascrizione delle riunioni estremamente accurati. 

Cosa fa un'API di trascrizione delle riunioni e a chi serve

Un'API di trascrizione delle riunioni riceve come input l'audio della riunione e restituisce testo. Gestisce il riconoscimento vocale, la diarizzazione dei relatori e l'aggiunta dei timestamp, offrendoti un pacchetto completo. Rispetto alla presa di appunti manuale, lo Speech to Text per le riunioni offre ai partecipanti una registrazione consultabile a cui possono tornare.

Man mano che più team adottano gli agenti IA, i resoconti scritti delle riunioni diventano un contesto ricercabile. Un agente interno cerca dettagli nelle trascrizioni, facendo emergere informazioni che riducono i silos di dati e migliorano l'accesso alle informazioni tra i team.

Molti strumenti commerciali offrono la trascrizione, ma potrebbero non soddisfare completamente i requisiti di un'organizzazione.

Per i team di product engineering, creare un'app STT per riunioni o aggiungere questa funzionalità a uno strumento esistente è talvolta più conveniente. Con il tuo software di trascrizione delle riunioni, hai il controllo sui seguenti aspetti:

• Privacy: ElevenLabs offre la modalità Zero Retention per gli utenti enterprise, soddisfacendo ulteriormente i requisiti di privacy in determinate regioni. 
• Vocabolario personalizzato: fornisci ulteriore contesto al modello affinché comprenda e trascriva i termini specifici della tua azienda, del tuo prodotto e del tuo settore. 
• Workflow personalizzato: anziché limitarti a workflow specifici del fornitore, crei uno strumento di trascrizione delle riunioni che si collega al tuo database interno, CRM e software enterprise. 

ElevenLabs offre modelli vocali e audio leader di settore che ti aiutano a creare un'app per la trascrizione delle riunioni. Con la nostra API di trascrizione delle riunioni, puoi acquisire accuratamente in note testuali ciò che viene detto durante una riunione. I nostri modelli supportano oltre 90 lingue e ti consentono di trascrivere in inglese, francese, mandarino e decine di altre lingue. 

Speech to Text per riunioni in tempo reale o batch: come scegliere 

La trascrizione in tempo reale acquisisce i flussi audio mentre vengono pronunciati e li trasforma in sottotitoli dal vivo. Puoi usarla per offrire assistenza testuale durante la riunione o attivare azioni a metà sessione con un bot dal vivo. La trascrizione batch, invece, elabora l'intera registrazione dopo una riunione per fornire una trascrizione più concisa e strutturata. La trascrizione batch aiuta a creare note post-riunione, conservare registri e mantenere documentazione verificabile. 

Quando scegli tra trascrizione Speech to Text in tempo reale e batch, è importante comprenderne le implicazioni tecniche e di costo. 

Ecco un rapido confronto tra i due approcci.

In definitiva, la scelta dipende dalle tue priorità. Se stai creando un assistente per riunioni dal vivo, devi trascrivere in tempo reale. Altrimenti, puoi usare la trascrizione batch, che offre vantaggi in termini di costi e precisione. 

Come configurare un'API di trascrizione delle riunioni con Scribe v2

ElevenLabs Speech to Text ti consente di trascrivere riunioni con Scribe v2 Realtime e Scribe v2. Entrambi i modelli vocali sono addestrati per etichettare accuratamente i relatori con accenti, dialetti e qualità audio diversi. Scribe v2 Realtime ti consente di trascrivere istantaneamente il parlato dal vivo, mentre Scribe v2 trasforma le registrazioni audio in trascrizioni estremamente accurate. 

Puoi accedere a entrambi i modelli tramite l'API che forniamo. Di seguito esaminiamo nel dettaglio ciascun modello, evidenziandone le funzionalità principali, l'architettura API e le modalità di integrazione nella tua soluzione di trascrizione. 

Opzione 1: trascrizione in tempo reale (dal vivo) 

La trascrizione in tempo reale ti consente di elaborare le conversazioni durante una riunione e trasformarle in testo mentre i relatori parlano. Gli intervalli percepibili tra il parlato udibile e quello trascritto sono minimi o assenti. 

Per trascrivere in tempo reale, usa il modello Scribe v2 Realtime, che raggiunge una bassa latenza di 150 ms tra input audio e output di testo, con trascrizioni parziali quasi istantanee. Questo significa che, integrando il modello nella tua app di trascrizione, avrai sottotitoli senza interruzioni. 

Progettato per supportare le conversazioni dal vivo, Scribe v2 Realtime è adatto ai casi d'uso che richiedono sottotitoli dal vivo, la generazione di note per riunioni in tempo reale o l'invio di testo dal vivo a un assistente IA per attivazioni secondarie. Inoltre, il modello supporta fino a 50 termini chiave per il prompting. 

Come trascrivere con Scribe v2 Realtime

Per eseguire la trascrizione dal vivo, collega il tuo prodotto a Scribe v2 Realtime tramite ElevenAPI. 

1. Per prima cosa, apri un WebSocket affinché il tuo prodotto possa ricevere trascrizioni dal modello Scribe v2 Realtime. 
2. Poi, invia al modello flussi delle conversazioni dal vivo della riunione. 
3. Infine, ricevi trascrizioni parziali e finali entro 150 ms. 

Nel tuo codice, crei handler per gli eventi API che si verificano durante l'intero processo di trascrizione. Ad esempio, il tuo codice gestisce gli eventi relativi all'invio di dati audio e alla ricezione di una trascrizione confermata. 

Metodi di streaming dal vivo per Scribe v2 Realtime

L'esempio seguente crea un token monouso sul tuo backend. Il tuo client può trasmettere l'audio delle riunioni all'API di trascrizione delle riunioni senza esporre la tua chiave API.

// Node.js server
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient({
  apiKey: process.env.ELEVENLABS_API_KEY,
});

app.get("/scribe-token", yourAuthMiddleware, async (req, res) => {
  const token = await elevenlabs.tokens.singleUse.create("realtime_scribe");

  res.json(token);
});

In base all'architettura della tua app, puoi trasmettere conversazioni dal vivo con Scribe v2 Realtime dall'app client o dal server backend.

• Streaming lato client: con questo metodo, invii l'input audio al modello audio direttamente dal microfono o tramite chunking manuale. Per collegarti all'API, esegui la convalida con un token monouso, evitando di esporre la tua chiave API. 
• Streaming lato server: questo metodo ti consente di trasmettere l'audio direttamente da un URL, dal caricamento di file o da un flusso audio. Usi la tua chiave API di ElevenLabs anziché un token monouso. 

Scelta di una strategia di commit per Scribe v2 Realtime

L'esempio seguente configura il rilevamento dell'attività vocale. L'API eseguirà il commit di un segmento della trascrizione ogni volta che un relatore fa una pausa.

import { Scribe, AudioFormat, CommitStrategy } from "@elevenlabs/client";

const connection = Scribe.connect({
  token: "sutkn_1234567890",
  modelId: "scribe_v2_realtime",
  audioFormat: AudioFormat.PCM_16000,
  commitStrategy: CommitStrategy.VAD,
  vadSilenceThresholdSecs: 1.5,
  vadThreshold: 0.4,
  minSpeechDurationMs: 100,
  minSilenceDurationMs: 100,
});

La trascrizione finale fornisce una documentazione probatoria che acquisisce accuratamente ciò che viene detto durante la riunione. Esistono due modi per eseguire il commit delle trascrizioni finali: manualmente o con il Voice Activity Detection (VAD). 

• Commit manuale: per impostazione predefinita, devi eseguire manualmente il commit del segmento della trascrizione nel tuo codice. Per una latenza ottimale, consigliamo di eseguire il commit ogni 20-30 secondi. Se temi di perdere il contesto, puoi inviare il testo precedente insieme al segmento audio da elaborare.
• Voice Activity Detection: in alternativa, puoi usare il VAD, che rileva i silenzi nel flusso audio per avviare la trascrizione. 

Opzione 2: trascrizione batch (post-riunione) 

La trascrizione batch è un modo efficace per trasformare ore di registrazioni di riunioni in formato testuale. Fornisce trascrizioni concise, contestualmente pertinenti e diarizzate su larga scala.

Scribe v2 è un modello Speech to Text di ElevenLabs che supporta l'etichettatura audio dinamica. Puoi estrarre accuratamente i dati delle conversazioni, insieme a eventi non vocali come risate e passi. 

A differenza della trascrizione in tempo reale, Scribe v2 è progettato per le note delle riunioni dopo la registrazione. Ad esempio, registri le riunioni su piattaforme come Zoom, Teams e Google Meet. Poi carichi i file audio in Scribe v2 al termine della sessione per la trascrizione batch. 

Come eseguire una trascrizione batch con Scribe v2 

La trascrizione con Scribe v2 avviene in modo asincrono tramite un'API REST. Non devi mantenere una connessione attiva con il modello vocale. Usi invece un webhook per ricevere una notifica quando la trascrizione è pronta.

Di seguito è riportato il flow logico che trasforma le registrazioni audio in una trascrizione.

1. Per prima cosa, crea un WebHook nella dashboard di ElevenLabs per ricevere i risultati della trascrizione.
2. Poi, crea handler per gli eventi nel tuo codice per elaborare la trascrizione restituita. 
3. Quindi, carica i file audio nell'endpoint REST di Scribe v2. 

Quando la trascrizione è completata, verrà invocato l'handler degli eventi che hai configurato. 

Keyword prompting per Scribe v2

Scribe v2 (batch) supporta fino a 1.000 termini per il keyword prompting. Quando invii un file audio per la trascrizione, puoi includere i termini nella chiamata API. A differenza di una lista di vocaboli, Scribe v2 confronta i termini chiave con il contesto della conversazione per determinare la trascrizione appropriata.

Questo consente al modello di prestare maggiore attenzione quando qualcuno pronuncia termini specifici e di trascriverli accuratamente. 

L'esempio seguente passa termini aziendali e di prodotto con la richiesta, quindi l'API li trascriverà correttamente nel contesto. 

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
    model_id="scribe_v2_realtime",
    keyterms=["ElevenLabs"],
))

Ad esempio, trascrive “ElevenLabs” quando pronunci la parola nel contesto di un brand o di un'azienda. 

Trascrizione multicanale per Scribe v2

La trascrizione multicanale consente al modello Scribe v2 di trascrivere singoli canali in un file audio con parlato di relatori distinti. Questa funzionalità è utile per creare uno strumento di trascrizione per conferenze, registrazioni giudiziarie o podcast. 

Ogni canale verrà etichettato con un identificatore univoco che rappresenta un relatore.

Sfide comuni nella trascrizione delle riunioni e come le gestisce l'API 

Durante la trascrizione delle riunioni, i team di ingegneria affrontano spesso diverse sfide.

Conversazioni sovrapposte 

Quando più relatori parlano contemporaneamente, è difficile capire cosa viene detto. Per distinguere i relatori, usa la diarizzazione o la trascrizione multicanale, offerte da Scribe v2. In questo modo ricevi trascrizioni separate etichettate con i rispettivi relatori.

Interpretazioni errate

Un altro problema degli strumenti di trascrizione è rilevare e interpretare accuratamente prodotti, brand o termini di settore specifici. Ad esempio, “DevOps”, un termine familiare agli sviluppatori software, potrebbe essere trascritto erroneamente come “dev ops”. Con l'API di trascrizione delle riunioni di ElevenLabs, puoi guidare il modello verso l'interpretazione corretta tramite il prompting dei termini chiave.

Relatori multilingue

Alcune riunioni si svolgono in lingue diverse, con relatori che alternano due o più lingue che conoscono bene. I modelli vocali standard faticano a interpretare il contesto e il contenuto del parlato, con una qualità di trascrizione scarsa. Scribe v2 consente la trascrizione multilingue in oltre 90 lingue, acquisendo con precisione le conversazioni mentre si svolgono. 

Sottotitoli dal vivo e trascrizione post-registrazione

Alcuni team devono proiettare sottotitoli dal vivo e generare una trascrizione post-riunione. Purtroppo, non tutti gli strumenti di trascrizione pronti all'uso offrono entrambe le funzionalità. L'API di ElevenLabs ti consente di fare entrambe le cose con Scribe v2 e Scribe v2 Realtime. 

Inizia a usare l'API di trascrizione delle riunioni

ElevenAPI ti dà accesso a modelli Speech to Text leader di settore per creare strumenti di trascrizione per riunioni. Configurare un ambiente di sviluppo è semplice. Ottieni una chiave API e installi l'SDK per Python o Node.js. Poi integri Scribe v2 o Scribe v2 Realtime nel tuo prodotto tramite l'API fornita. 

Accedi a ElevenLabs e invia la tua prima richiesta API ora. 

Domande frequenti