Come ElevenReader Voice Chat ha aumentato del 24% il tempo medio di ascolto con ElevenAgents

Stiamo implementando ElevenAgents in tutta l'azienda, per gestire le interazioni nelle operazioni, nelle assunzioni, nel prodotto e non solo.

Un esempio è ElevenReader Voice Chat, che abbiamo lanciato di recente per aumentare il coinvolgimento degli utenti offrendo un'esperienza di lettura più interattiva. Gli utenti possono parlare con la stessa voce che narra il loro audiolibro per fare domande su un personaggio, chiarire un punto della trama o approfondire un tema, senza uscire dalla storia.

Dal lancio, oltre 50.000 utenti unici hanno utilizzato Voice Chat in una dozzina di lingue, registrando un aumento del 24% del tempo di ascolto. L'intera esperienza si basa su ElevenAgents.

Perché abbiamo creato ElevenReader Voice Chat

Durante la lettura di un libro, i lettori spesso vogliono qualcosa in più della semplice narrazione. Vogliono fare una domanda veloce, cercare un'informazione o avere un contesto su ciò che hanno appena ascoltato, per poi tornare all'ascolto. Prima di introdurre Voice Chat, ElevenReader non offriva questa possibilità. Altri strumenti gestiscono questa esigenza in modo limitato. Una funzionalità come "cerca questa informazione" in genere apre una ricerca web o un dizionario. Risponde alla domanda, ma fa uscire il lettore dal libro e dall'esperienza. 

ElevenReader Voice Chat offre un'esperienza immersiva che porta gli utenti ad ascoltare di più e a finire i libri più spesso. Voice Chat conosce tutto il contesto del libro e usa la stessa voce che lo narra, quindi fare domande è come parlare con il narratore. I lettori ricevono una risposta e tornano subito all'ascolto. Confrontando l'ascolto di ciascun utente nel mese precedente e in quello successivo alla prima conversazione, rileviamo un aumento del 24% delle ore di ascolto. 

Osserviamo anche una forte correlazione tra il coinvolgimento con Voice Chat e il tasso di completamento dei libri: per gli utenti con più di 5 sessioni di Voice Chat, il tasso raggiunge il 78%. 

Come l'abbiamo creato

Voice Chat utilizza gli SDK nativi per agenti mobile di ElevenLabs per Android e iOS, integrati direttamente nell'app ElevenReader. Supporta anche le conversazioni testuali, con un passaggio fluido tra voce e testo. Il nostro SDK ElevenAgents gestisce tutto questo già pronto all'uso, consentendo agli utenti di continuare ad ascoltare il libro mentre conversano con l'agente a lato.

Il system prompt definisce l'agente come un compagno di lettura. Il suo compito è aiutare i lettori a comprendere, apprezzare e riflettere su ciò che stanno leggendo, offrendo approfondimenti chiari e accurati su trame, personaggi, temi e idee. Aiuta i lettori a dare senso a ciò che hanno letto o ad anticipare ciò che accadrà, senza fare spoiler, a meno che non lo chiedano.

Dare contesto all'agente con le variabili

Il contesto dell'agente proviene da un insieme di variabili legate a ciò che il lettore sta facendo in quel momento: titolo del libro, descrizione, autore, un riassunto del libro e del capitolo corrente, e il paragrafo attuale. Questo gli permette di rispondere a domande specifiche sul punto esatto della storia in cui si trova una persona, invece di fornire una risposta generica sull'intero libro.

In seguito, aggiungeremo tool call affinché l'agente possa controllare direttamente la riproduzione, ad esempio passando a un capitolo o riprendendo la narrazione al termine di una conversazione.

Test e guardrail

Abbiamo implementato guardrail per evitare che l'agente vada fuori tema. Prima del lancio, il team li ha testati cercando attivamente di aggirare i nostri guardrail all'interno dell'app. 

L'agente riesce bene a riportare la conversazione al libro quando riceve domande fuori tema. Ad esempio, ascoltando L'isola del tesoro:

Utente: “Quale tipo di fast food ti piace di più?”

Agente: “Oh, io non mangio, ma adoro una bella storia di pirati e tesori. Vuoi parlare ancora di ciò che Jim ha trovato in quel baule?”

Nei primi giorni dopo il rilascio, abbiamo esaminato manualmente le conversazioni più volte per individuare nuovi modi in cui i guardrail potevano essere aggirati e rafforzarli di conseguenza.

Valutare l'utilizzo

Oltre al volume delle conversazioni, usiamo una serie di criteri di valutazione per classificare di cosa tratta effettivamente ciascuna conversazione: l'intento del lettore, il tema della conversazione e se rappresenta un'interazione positiva. Questa combinazione ci permette di capire i principali modi in cui i lettori usano Voice Chat, non solo con quale frequenza.

La richiesta più frequente è riassumere la trama (il 40% delle conversazioni), ma ogni settimana riceviamo anche centinaia di conversazioni sull'analisi di citazioni tratte da passaggi specifici. Per questo è importante fornire all'agente il contesto della posizione precisa dell'utente nel libro.

Cosa ci aspetta

Vediamo nelle nuove esperienze con contenuti e proprietà intellettuale un'opportunità significativa. Esempi stanno già emergendo altrove, come MasterClass, che permette di parlare con un coach noto per imparare una competenza. Ci aspettiamo che la lettura e gli audiolibri diventino molto più interattivi di quanto lo siano oggi, creando legami più profondi tra lettori e contenuti, autori e lettori, e persino personaggi e lettori.

Provalo tu stesso

Voice Chat è interamente basato su ElevenAgents e sui nostri SDK mobile nativi. Se vuoi creare un'esperienza simile nella tua app, prova questo template, oppure dai un'occhiata all' SDK Android o all' SDK iOS.