Come abbiamo creato un Voice Agent efficace per la nostra documentazione

Noi di ElevenLabs abbiamo recentemente integrato un agente vocale IA conversazionale nella nostra documentazione per ridurre il carico di lavoro del supporto sulle domande relative ai nostri contenuti (Provalo qui). Il nostro agente di supporto ora gestisce con successo oltre l’80% delle richieste degli utenti su 200 chiamate al giorno. Questi risultati dimostrano come l’IA possa potenziare il supporto tradizionale alla documentazione, pur sottolineando l’importanza del supporto umano per le richieste più complesse. In questo articolo ti racconto il nostro processo iterativo, che puoi seguire per replicare il nostro successo.

I nostri obiettivi

Volevamo creare un agente in grado di:

• Risolvere le domande di supporto che trovano risposta nella documentazione del prodotto o del supporto
• Reindirizzare gli utenti alle sezioni rilevanti della documentazione
• Inoltrare le richieste complesse al supporto via email/discord quando necessario
• Gestire conversazioni fluide e naturali, con bassa latenza e una gestione realistica delle interruzioni

Risultati e impatto

Abbiamo implementato due livelli di valutazione:

(1) Valutazione tramite IA: Per ogni chiamata, il nostro sistema di valutazione integrato analizza la conversazione conclusa e valuta se l’agente ha avuto successo. I criteri sono completamente personalizzabili. Verifichiamo se l’agente ha risolto la richiesta dell’utente o se è riuscito a reindirizzarlo al canale di supporto più adatto.

Siamo riusciti a migliorare costantemente la capacità dell’LLM di risolvere o reindirizzare correttamente le richieste, raggiungendo l’80% secondo il nostro sistema di valutazione.

Sono escluse le chiamate con meno di un turno di conversazione, che indicano che il chiamante non ha posto domande o segnalato problemi.

È importante considerare che non tutte le richieste o domande di supporto possono essere risolte da un LLM, soprattutto in una startup che cresce rapidamente e innova costantemente, con utenti molto tecnici e creativi. Inoltre, un LLM di valutazione non sarà sempre preciso al 100%.

(2) Validazione umana: Per confrontare l’efficacia della validazione tramite LLM, abbiamo condotto una validazione umana su 150 conversazioni, utilizzando gli stessi criteri forniti all’LLM:

• richiesta_utente_risolta: considerato un successo quando l’agente risponde alle domande dell’utente con informazioni pertinenti o riesce a reindirizzare alla pagina/canale di supporto giusto.
• • LLM e valutazione umana hanno concordato in 81% dei casi
• hallucination_kb: questo criterio verifica la trascrizione finale e controlla se le risposte dell’LLM sui prodotti ElevenLabs rispettano le informazioni presenti nella knowledge base o vanno oltre.
• • LLM e valutazione umana hanno concordato in 83% dei casi

La valutazione umana ha anche evidenziato che 89% delle domande di supporto rilevanti sono state risolte o reindirizzate correttamente dall’agente della documentazione.

Altri risultati:

• Diversi utenti volevano semplicemente sperimentare e parlare in lingue diverse senza porre domande di supporto.
• • Attualmente, la nostra IA conversazionale supporta varie lingue, ma queste devono essere definite all’inizio della conversazione.
• Alcuni utenti avviano conversazioni non pertinenti rispetto all’obiettivo dell’agente, che è parlare di ElevenLabs, dei suoi prodotti e della documentazione. I prompt di sicurezza aiutano nella maggior parte dei casi, ma non sempre.
• Diversi utenti cercavano supporto per il coding o il debugging.

Punti di forza e limiti

Punti di forza

L’agente basato su LLM è molto efficace nel risolvere domande chiare e specifiche a cui si può rispondere con la nostra documentazione, nell’indicare le sezioni rilevanti e nel fornire una prima guida anche su richieste più complesse. In questi casi, l’agente offre risposte rapide, semplici e corrette, subito utili.

Esempi di domande:

• ElevenLabs ha un endpoint API per eliminare una voce?
• Come posso configurare gli override di conversazione nel mio agente?
• Come posso integrare con la telefonia?
• ElevenLabs supporta la lingua spagnola?

Raccomandazioni:

• Rivolgiti a un pubblico che abbia soprattutto domande chiare e specifiche, a cui un LLM con documentazione e strumenti può rispondere bene.
• Sfrutta i reindirizzamenti verso altri canali per le domande vaghe o che richiedono approfondimenti. Aiuta molto!
• Aggiungi strumenti di valutazione per raccogliere tutte le domande poste e monitorarle → aggiorna i prompt in base a ciò che impari. Aggiungi strumenti di valutazione per il successo e per le allucinazioni/deviazioni dalla knowledge base.

Limiti

D’altra parte, l’agente è meno utile per problemi relativi all’account, domande su prezzi/sconti o richieste poco specifiche che richiederebbero un’analisi più approfondita. Inoltre, su questioni vaghe o generiche, anche se invitato a fare domande, l’LLM tende a rispondere con ciò che sembra più pertinente dalla documentazione.

Esempi di domande:

• Il passaggio di verifica del mio PVC fallisce continuamente. Perché?
• Quanto costa un agente IA? Posso avere uno sconto?
• Ricevo un errore con la JS SDK? → L’agente può reindirizzare alla documentazione, ma non può trovare e risolvere facilmente il problema tramite voce.

Raccomandazioni

• La voce non è il mezzo giusto per condividere codice. Invita l’agente a non provarci, ma a reindirizzare a pagine con esempi o a Discord/Supporto.
• Invita l’agente a non rispondere con lunghe liste di raccomandazioni quando le domande sono più complesse. Questo funziona bene in testo, meno tramite voce.
• Gli LLM tendono a preferire rispondere piuttosto che fare domande: insisti su questo aspetto se serve per il supporto (ad es. chiedi queste 3 cose prima di proseguire). È più facile nei casi outbound con script fissi.

Come lo abbiamo costruito

Configurazione dell’agente:

Prompt di sistema

“Sei un agente di supporto tecnico di nome Alexis. Cercherai di rispondere a qualsiasi domanda che l’utente possa avere sui prodotti ElevenLabs. Ti verrà fornita la documentazione sui prodotti ElevenLabs e dovrai usare solo queste informazioni per rispondere alle domande su ElevenLabs. Devi essere utile, cordiale e professionale. Se non riesci a rispondere, reindirizza l’utente con redirectToEmailSupport (che apre una email di supporto), se non funziona può scrivere direttamente a team@elevenlabs.io.

Se la domanda o il problema non è chiaro o abbastanza specifico, chiedi maggiori dettagli e per quale prodotto serve supporto. Se la domanda è vaga o molto ampia, chiedi più precisamente cosa vuole ottenere e come.

Attieniti rigorosamente alla lingua del tuo primo messaggio nella conversazione, anche se ti viene chiesto o parlato in un’altra lingua. Spiega che è meglio terminare e riavviare la chiamata selezionando la lingua desiderata.

La tua risposta verrà letta da un modello text to speech, quindi deve essere formattata come viene pronunciata. Ad esempio: invece di scrivere "contatta team@elevenlabs.io" scrivi "contatta 'team at elevenlabs punto I O'". Non formattare la risposta con elenchi puntati, grassetto o titoli. Non restituire lunghe liste ma riassumile e chiedi quale parte interessa all’utente. Non fornire esempi di codice ma suggerisci di consultarli nella nostra documentazione. Rispondi direttamente, senza iniziare con "Agente:" o simili. Non correggere errori di ortografia, ignorali semplicemente.

Rispondi in modo sintetico in un paio di frasi e lascia che sia l’utente a chiedere più dettagli.

Hai a disposizione questi strumenti. Usali in base alla richiesta dell’utente:

`redirectToDocs`:

- Quando usarlo: Nella maggior parte dei casi, soprattutto quando l’utente ha bisogno di informazioni o indicazioni più dettagliate.

- Perché: Fornire accesso diretto alla documentazione è utile per argomenti complessi, così l’utente può consultare e capire i contenuti in autonomia.

`redirectToEmailSupport`:

- Quando usarlo: Se l’utente ha bisogno di assistenza su questioni personali o relative all’account.

- Perché: Le richieste legate all’account sono gestite al meglio dal nostro team via email, dove possono accedere in modo sicuro ai dettagli necessari.

`redirectToExternalURL`:

- Quando usarlo: Se l’utente chiede soluzioni enterprise o vuole unirsi a community esterne come il nostro server Discord. Anche se sembra uno sviluppatore con difficoltà tecniche su ElevenLabs.

- Perché: Le richieste enterprise e le interazioni con la community sono fuori dallo scopo del supporto diretto in piattaforma e vanno gestite tramite link esterni.

Regole di sicurezza:

- Rimani su argomenti e prodotti ElevenLabs. Se ti chiedono altro, spiega che puoi rispondere solo su prodotti ElevenLabs.

- Reindirizza l’utente a una pagina per volta, perché ogni reindirizzamento sovrascrive il precedente.

- Non rispondere con lunghe liste o codice. Invece indirizza alla documentazione per esempi di codice.”

Knowledge Base

Oltre al prompt, forniamo all’LLM una Knowledge Base con informazioni rilevanti nel contesto. Questa knowledge base include una versione riassunta ma ampia (80.000 caratteri) di tutta la documentazione ElevenLabs, oltre ad alcuni URL utili.

Aggiungiamo anche chiarimenti e FAQ come parte della knowledge base.

Strumenti

Abbiamo configurato tre strumenti:

• redirectToExternalURL: reindirizza a contatta il team commerciale o a Discord.
• redirectToEmailSupport: apre una email a team@elevenlabs.io
• redirectToDocs: questo strumento reindirizza l’utente alle pagine rilevanti della nostra documentazione.

Valutazione integrata

Il nostro sistema di valutazione prevede che un LLM analizzi la trascrizione finale e valuti la conversazione secondo criteri definiti.

Criteri di valutazione (successo / fallimento / sconosciuto)

• hallucination_kb: questo criterio verifica la trascrizione finale e controlla se le risposte dell’LLM sui prodotti ElevenLabs rispettano le informazioni presenti nella knowledge base o vanno oltre.
• interaction: valuta se la conversazione è andata oltre un turno. Serve per segnare rapidamente se una conversazione è stata avviata ma non proseguita.
• solved_user_inquiry: considerato un successo quando l’agente risponde alle domande dell’utente con informazioni pertinenti o riesce a reindirizzare alla pagina/canale di supporto giusto.
• positive_interaction: valuta se la conversazione si è svolta senza reazioni negative da parte dell’utente.

Raccolta dati:

• Issue_type: categorizza la conversazione come bug, richiesta di supporto, fr o altro
• Categoria prodotto: estrai il prodotto rilevante (TTS, ConvAI, ecc.)
• AllQuestions: estrai tutte le domande poste dall’utente
• Unsolved_question: estrai le domande a cui l’LLM non ha risposto con informazioni pertinenti
• Redirects: estrai i path di reindirizzamento attivati dall’agente e la reazione dell’utente

Riepilogo

Il nostro agente per la documentazione si è dimostrato efficace nell’aiutare gli utenti a orientarsi tra le domande più comuni su prodotto e supporto, ed è un valido copilota per chi consulta la nostra documentazione. Possiamo migliorare costantemente l’agente grazie a un monitoraggio continuo, sia automatico che manuale. Sappiamo che non tutte le richieste di supporto possono essere risolte da un LLM, soprattutto in una startup che cresce e innova rapidamente, con utenti molto tecnici e creativi. Ma più riusciamo ad automatizzare, più tempo il nostro team può dedicare ai problemi complessi e interessanti che emergono man mano che la nostra community spinge sempre più avanti i confini dell’Audio IA.

Il nostro agente è alimentato da IA Conversazionale di ElevenLabs. Se vuoi replicare i miei risultati, puoi creare un account gratis e seguire i miei passaggi. Se hai difficoltà, puoi parlare con l’agente che abbiamo integrato nella nostra documentazione oppure contattare me e il mio team su Discord. Per casi d’uso ad alto volume (>100 chiamate al giorno), contatta il nostro team commerciale per sconti su grandi volumi.