Bygga en effektiv röstagent för våra egna dokument

På ElevenLabs har vi nyligen bäddat in en Conversational AI-agent i våra dokument för att hjälpa till att minska supportbördan för dokumentationsrelaterade frågor (Testa det här). Vår supportagent hanterar nu framgångsrikt över 80% av användarförfrågningar över 200 samtal per dag. Dessa resultat visar potentialen för AI att förstärka traditionellt dokumentationsstöd samtidigt som det lyfter fram den fortsatta betydelsen av mänskligt stöd för komplexa frågor. I det här inlägget kommer jag att beskriva vår iterativa process som du kan följa för att replikera vår framgång. 

Våra mål

Vi siktar på att bygga en agent som kan:

• Lös supportfrågor som kan besvaras utifrån vår produkt- och supportdokumentation
• Omdirigera användare till relevanta dokumentationsavsnitt
• Vidarebefordra komplexa frågor till support via e-post/discord vid behov
• Ha en flytande och naturlig konversation, med låg latens och realistisk hantering av avbrott

Resultat och effekt

Vi implementerade två lager av utvärdering:

(1) AI-utvärderingsverktyg: För varje samtal går vårt inbyggda utvärderingsverktyg igenom det avslutade samtalet och utvärderar om agenten har lyckats. Kriterierna är helt anpassningsbara. Vi frågar om agenten löste användarförfrågan eller kunde omdirigera dem till en relevant supportkanal. 

Vi har stadigt kunnat förbättra LLM:s förmåga att lösa eller omdirigera förfrågan framgångsrikt och nå 80 % enligt vårt utvärderingsverktyg. 

Exkluderar samtal med mindre än 1 varv i konversationen, vilket innebär att ingen fråga/fråga har tagits upp av den som ringer. 

Nu är det viktigt att tänka på att inte alla typer av supportfrågor eller frågor kan lösas av en LLM, särskilt för en startup som bygger snabbt och ständigt förnyar, och med extremt tekniska och kreativa användare. Som en ytterligare friskrivning, kommer en utvärdering LLM inte att utvärdera korrekt 100 % av tiden.

(2) Mänsklig validering: För att kontrastera effektiviteten av våra LLM-valideringsverktyg genomförde vi en mänsklig validering av 150 konversationer, med samma utvärderingskriterier som LLM-verktyget:

• solved_user_enquiry: definieras som framgång när agenten svarade på användarens frågor med relevant information eller kunde omdirigera till den relevanta sidan/supportkanalen. 
• • LLM och Human kom överens om 81 av fall 
• hallucination_kb: detta kriterium kommer att kontrollera den slutliga utskriften och verifiera om svaren från LLM om ElevenLabs produkter följer informationen i kunskapsbasen eller går längre än den. 
• • LLM och Human kom överens om 83 av fall

Den mänskliga utvärderingen avslöjade också det 89 av relevanta supportfrågor besvarades eller omdirigerades korrekt av dokumentationsagenten.

Andra fynd: 

• Flera uppringare ville bara leka och prova att prata på olika språk utan att ställa en supportfråga. 
• • För närvarande stöder vår Conversational AI olika språk, men dessa måste definieras i början av konversationen. 
• Flera uppringare deltar i konversationer som inte är relevanta för agentens mål att prata om ElevenLabs, dess produkter och dokumentation. Snabba skyddsräcken hjälpte för det mesta, men inte alltid. 
• Flera uppringare letade efter kodnings- eller felsökningsstöd. 

Styrkor och begränsningar

Styrkor

Den LLM-drivna agenten är skicklig på att lösa tydliga och specifika frågor som kan besvaras med vår dokumentation, peka uppringare till relevant dokumentation och ge lite inledande vägledning i mer komplexa frågor. I de flesta av dessa fall ger agenten snabba, enkla och korrekta svar som är omedelbart användbara. 

Frågor inkluderar: 

• Har ElevenLabs en API-slutpunkt för att ta bort en röst? 
• Hur kan jag konfigurera konversationsåsidosättningar i min agent? 
• Hur integrerar jag med telefoni?
• Stöder ElevenLabs det spanska språket?

Rekommendationer:

• Rikta dig till en målgrupp som mest kommer att ha tydliga/specifika frågor som en LLM med dokumentation och verktyg är bra på att svara på. 
• Utnyttja omdirigeringar till andra kanaler för de vaga frågorna/de som kräver utredning. Detta hjälper mycket! 
• Lägg till utvärderingsverktyg för att fånga alla frågor som ställs och övervaka dem -> justera snabbt med lärdomar. Lägg till utvärderingsverktyg för framgång och hallucinationer/avvikelser från kunskapsbasen. 

Begränsningar

Å andra sidan är agenten mindre hjälpsam med kontoproblem, prissättnings-/rabattfrågor eller icke-specifika frågor som skulle tjäna på djupare undersökningar/frågor. Även frågor som är ganska vaga och generiska -> trots att de uppmanas att ställa frågor, föredrar LLM vanligtvis att svara med något som kan verka relevant från dokumentationen. 

Frågor inkluderar: 

• Verifieringssteget för min PVC misslyckas upprepade gånger. Varför? 
• Hur mycket kostar en AI-agent? Kan jag få rabatt? 
• Jag får ett felmeddelande med JS SDK? -> Agenten kan omdirigera relevant dokumentation, men kan inte hitta och lösa problemet enkelt via rösten. 

Rekommendationer

• Röst är inte rätt medium för att dela kod. Be den att inte försöka, utan istället att omdirigera till sidor med exempel eller omdirigera till Discord/Support.
• Uppmana agenten att inte svara i långa listor med rekommendationer när frågorna/frågorna är mer komplicerade. Detta fungerar i text, men mindre via röst.
• LLM:er tenderar att föredra att svara framför att ställa frågor - uppmana den aggressivt till det om det behövs för supportanvändningsfallet. (dvs ställ dessa 3 frågor innan du går vidare). Detta är lättare för utgående användningsfall med fasta skript.

Hur vi byggde det

Agentkonfiguration: 

Systemprompt

"Du är en teknisk supportagent som heter Alexis. Du kommer att försöka svara på alla frågor som användaren kan ha om ElevenLabs produkter. Du kommer att få dokumentation om ElevenLabs produkter och bör endast använda denna information för att svara på frågor om ElevenLabs. Du ska vara hjälpsam, vänlig och professionell. Om du inte kan svara på frågan, omdirigera uppringare med redirectToEmailSupport (som öppnar ett e-postmeddelande på deras sida för support), om det inte verkar fungera kan de maila direkt till team@elevenlabs.io.

Om frågan eller frågan inte är helt tydlig eller tillräckligt specifik, be om mer information och för vilken produkt de begär support. Om frågan är vag eller mycket bred, fråga dem mer specifikt vad de försöker uppnå och hur. 

Håll dig strikt till språket i ditt första meddelande i konversationen, även när du blir tillfrågad eller talad till på ett annat språk. Säg att det är bättre om de avslutar och återupptar samtalet och väljer önskat alternativt språk.

Din utdata kommer att läsas av en text-till-tal-modell så den bör formateras som den uttalas. Till exempel: istället för att mata ut "vänligen kontakta team@elevenlabs.io" bör du mata ut "vänligen kontakta 'team at elevenlabs dot I O'". Formatera inte ditt textsvar med punkter, fetstil eller rubriker. Lämna inte tillbaka långa listor utan sammanfatta dem istället och fråga vilken del användaren är intresserad av. Returnera inte kodexempel utan föreslå istället att användaren tittar på kodexemplen i vår dokumentation. Skicka tillbaka svaret direkt, börja inte svar med "Agent:" eller något liknande. Rätta inte stavfel, ignorera dem helt enkelt.

Svara kortfattat i ett par meningar och låt användaren guida dig om var du kan ge mer detaljer. 

Du har följande verktyg till ditt förfogande. Använd dem på lämpligt sätt baserat på användarens begäran:

`redirectToDocs`:

- När ska man använda: I de flesta situationer, särskilt när användaren behöver mer detaljerad information eller vägledning.

- Varför: Att tillhandahålla direkt tillgång till dokumentation är användbart för komplexa ämnen, vilket säkerställer att användaren kan granska och förstå innehållet på egen hand.

`redirectToEmailSupport`:

- När ska man använda: Om användaren behöver hjälp med personliga eller kontospecifika problem.

- Varför: Kontorelaterade förfrågningar hanteras bäst av vårt supportteam via e-post, där de säkert kan komma åt relevant information.

`redirectToExternalURL`:

- När ska man använda: Om användaren frågar om lösningar på företagsnivå eller vill gå med i externa gemenskaper som vår Discord-server. Även om de verkar vara en utvecklare som har tekniska problem med ElevenLabs.

- Varför: Företagsförfrågningar och gemenskapsinteraktioner faller utanför omfattningen av direkt support på plattformen och hanteras bättre via externa länkar.

Skyddsräcken:

- Håll dig till Elevenlabs relaterade ämnen och produkter. Om någon frågar om icke-elevenlabs-ämnen, säg att du bara är här för att svara om Elevenlabs-produkter.

- Omdirigera endast den som ringer till en sida i taget, eftersom varje omdirigering åsidosätter den föregående.

– Svara inte i långa listor eller med kod. Istället direkt till dokumentationen för kodning av prover.”

Kunskapsbas

Vid sidan av uppmaningen förmedlar vi LLM en kunskapsbas med relevant information i sammanhanget. Denna kunskapsbas innehåller en sammanfattad, men fortfarande stor (80 000 tecken) version av all ElevenLabs-dokumentation, samt några relevanta webbadresser. 

Vi lägger också till förtydliganden och vanliga frågor som en del av kunskapsbasen. 

Verktyg

Vi har tre verktyg konfigurerade:

• redirectToExternalURL: omdirigerar till kontaktförsäljare eller till discord. 
• redirectToEmailSupport: öppna e-post till team@elevenlabs.io
• redirectToDocs: detta verktyg är konfigurerat för att omdirigera den som ringer till relevanta sidor i vår dokumentation.

Inbyggd utvärdering 

Vårt utvärderingsverktyg innebär att en LLM går igenom den slutliga utskriften och bedömer konversationen mot definierade kriterier. 

Utvärderingskriterier (framgång / misslyckande / okänt)

• hallucination_kb: detta kriterium kommer att kontrollera det slutliga transkriptet och verifiera om svaren från LLM om ElevenLabs produkter följer informationen i kunskapsbasen eller går längre än den. 
• interaktion: bedömer om samtalet gick längre än en konversationsvändning. Ett snabbt sätt att markera om konversationer har startat men aldrig varit engagerade i. 
• solved_user_inquiry: definieras som framgång när agenten svarade på användarens frågor med relevant information eller kunde omdirigera till den relevanta sidan/supportkanalen. 
• positiv_interaktion: bedöm om samtalet gick utan negativa reaktioner från den som ringer. 

Datainsamling:

• Issue_type: kategorisera konversationen som bugg, supportproblem, fr eller annat
• Produktkategori: extrahera den relevanta produkten (TTS, ConvAI, etc) 
• AllQuestions: extrahera alla frågor som ställs av den som ringer 
• Unsolved_question: extrahera frågor som inte besvarats av LLM med relevant information
• Omdirigeringar: extrahera omdirigeringsvägarna som utlöses av agenten och uppringarens reaktion

Sammanfattning

Vår dokumentationsagent har visat sig vara effektiv för att hjälpa användare att navigera i vanliga produkt- och supportfrågor, och är en engagerande copilot för användare som navigerar i våra dokument. Vi kan konsekvent upprepa och förbättra vår agent genom kontinuerlig automatiserad och manuell övervakning. Vi inser att inte alla typer av supportfrågor eller frågor kan lösas av en LLM, speciellt för en startup som bygger snabbt och ständigt förnyar, och med extremt tekniska och kreativa användare. Men vi har upptäckt att ju mer vi kan automatisera, desto mer tid kan vårt team spendera fokuserat på att ta itu med de knepiga och intressanta problemen som dyker upp i marginalen när vårt community fortsätter att tänja på gränserna för vad som är möjligt med AI Audio . 

Vår agent drivs av ElevenLabs Conversational AI. Om du vill återskapa mina resultat kan du göra det skapa ett konto gratis och följ mina steg. Om du fastnar kan du prata med agenten vi har utplacerat på våra handlingar eller kontakta mig och mitt team i Disharmoni. För användningsfall med hög volym (>100 samtal per dag), kontakta vårt säljteam för volymrabatter.