Att mäta Conversational AI: viktiga nyckeltal för framgång

Verktyg för Conversational AI sänker kostnaden för kundtjänst dygnet runt avsevärt. Det utan att behöva bemanna nattpass eller ta de dataskyddsrisker som följer med att outsourca roller utomlands.

Men kostnadsbesparingar spelar bara roll om en AI-agent kan lösa kundernas problem. Genom att mäta Conversational AI med rätt nyckeltal ser du om det fungerar, särskilt för företag som hanterar stora mängder kundfrågor.

I den här artikeln beskriver vi hur utvärdering av samtalsflöde och svarens korrekthet skyddar både kundupplevelsen och ditt varumärke. Vi förklarar hur team för kundupplevelse genomför effektiva A/B-test av hälsningsfraser för uppringare. Du får också lära dig hur du upprätthåller en tillförlitlig, flerspråkig plattform för Conversational AI.

Sammanfattning

• Genom att systematiskt mäta Conversational AI utifrån kvalitets-, upplevelse- och driftmått får du data som behövs för att skydda kundupplevelsen.
• Automatiserade utvärderingsverktyg följer kontinuerligt upp och förbättrar nyckeltal för Conversational AI i stor skala, medan medarbetare genomför regelbundna stickprovskontroller.
• Om du isolerar en specifik variabel i taget i A/B-test kan du enkelt identifiera exakt vad som gick fel och införa åtgärder som direkt löser de identifierade problemen.
• Kontinuerlig förbättring krävs eftersom AI-företag ofta uppdaterar de underliggande modellerna, vilket kan göra att tidigare tillförlitliga chatbotar beter sig annorlunda i produktion.

Vad det innebär att mäta Conversational AI och varför det är viktigt

Att mäta Conversational AI innebär att systematiskt utvärdera hur väl dina testade eller driftsatta AI-agenter hanterar kundförfrågningar och löser problem. Målet är att fastställa hur effektivt dina automatiserade system hanterar samtal med flera turer i verkligheten, utifrån de prestandastandarder du har satt. Standarderna speglar vanligtvis hur väl modellerna förstår användarens avsikt, följer varumärkets tonalitet, ger korrekta svar och lyckas lösa problemet.

Modellutvärderingar kan verka som mycket extraarbete för ett system som ska minska arbetsbördan för ditt team. Men utan konsekvent utvärdering är det svårt att veta hur väl modellen fungerar i verkliga användningsfall. Du vet med andra ord att AI-systemet sänker kostnaderna för kundtjänsten, men kan du bekräfta om det gör kunderna nöjda eller får dem att söka andra lösningar?

En heltäckande mätning kräver att du granskar modellen utifrån tre huvudkategorier:

• Kvalitet: Bedöm hur korrekta, sammanhängande och relevanta AI:ns svar är utifrån användarens ursprungliga fråga. Huvudfrågan är: Har AI:n rätt och ger användarna korrekta svar, eller hallucinerar den och gör misstag?
• Upplevelse: Utvärdera kundupplevelsen, till exempel om AI:n svarade snabbt och hur många turer den behövde för att ge ett tillfredsställande svar. Huvudfrågan är: Känns upplevelsen naturlig och hjälpsam för användaren, eller robotlik och frustrerande?
• Drift: Avgör om systemet fungerar tillförlitligt och fortsätter vara en kostnadseffektiv lösning för din kundtjänst. Vanliga frågor här är: Har systemet hög tillgänglighet och ger det den avkastning som krävs för att motivera användningen?

Framgång ser olika ut för varje team, och de ursprungliga problemen innan du automatiserade supporten har stor betydelse. Om ditt team till exempel inledningsvis hade svårt att upprätthålla kundtjänst dygnet runt kan AI-agenternas tillgänglighet dygnet runt enkelt förbättra kundtjänstens prestanda. Men alla dessa kategorier är viktiga för helheten, så ett system som alltid är online och sällan kraschar hjälper inte kunderna särskilt mycket om det känns robotlikt och hallucinerar svar.

Centrala nyckeltal för Conversational AI att följa

Följ tydliga och användbara siffror för att bedöma agenternas prestanda i kundkontakter och om din nuvarande implementering skapar verkligt affärsvärde. Kontinuerlig utvärdering öppnar också för regelbundna förbättringar. När du identifierar exakt var det finns flaskhalsar i ditt workflow eller var justeringar behövs, har du data för att effektivt hantera grundorsaken.

Använd dessa nyckeltal för Conversational AI som utgångspunkt när du utvärderar röstsamtal och chatbotars prestanda:

• Inneslutningsgrad: Följ andelen frågor som löses helt i den automatiserade kanalen. Målen varierar mellan branscher, sammanhang, användningsfall och bottar. Till exempel är 60–80 % ganska standard inom detaljhandel, medan siffran ligger mellan 40–60 % för resesajter.
• Eskalationsgrad: Mät hur ofta AI-agenter hanterar samtal utan att eskalera dem till en människa. Proaktiva företag sätter automatiska tröskelvärden för att överföra samtal till människor så snart sentimentet blir negativt. En bra eskalationsgrad varierar med bransch och uppgiftens komplexitet, men sikta på 15–30 %.
• Ordfelfrekvens (WER): Följ hur väl AI:n korrekt ”hör” ord under ett samtal eller i en transkribering. En bra branschstandard är 5 %, men du behöver lägre WER för användningsfall inom reglerade områden eller som hanterar känslig information inom exempelvis vård, finans och juridik.
• Träffsäkerhet i avsiktsigenkänning: Utöver enskilda ord börjar en framgångsrik AI-agent med att korrekt förstå användarens problem och behov. Målen för träffsäkerhet varierar efter användningsfall och mellan olika avsiktskategorier.
• Svarens korrekthet: Avgör hur tillförlitligt modellen ger sanningsenliga och meningsfulla svar. Det är avgörande för att kunderna ska kunna lösa sina problem. Allmänna kundtjänstfrågor kräver 80 % eller högre, medan känsliga användningsfall som betalningar kräver 99 % eller högre.
• Hallucinationsfrekvens: Även om det är nära kopplat till svarens korrekthet, mäter hallucinationer specifikt svarens faktamässiga korrekthet utifrån kunskapsbasen. Låga hallucinationsfrekvenser är avgörande för hjälpsamma svar och för att modeller inte ska ge löften som företaget inte kan hålla. 
• Kundnöjdhet (CSAT): Samla in kundsentiment med enkäter efter samtalet för att mäta nöjdheten. Företag samlar in dessa data på en femgradig skala, men uttrycker ofta resultaten i procent. Enligt SurveyMonkey börjar bra CSAT-resultat vanligtvis runt 70 %, och vissa företag siktar på 80 % eller högre.
• Genomsnittligt omdömesbetyg (MOS): Även detta människocentrerade nyckeltal använder en femgradig skala, men syftet är att mäta hur naturligt AI-svaret låter och hur tydlig den syntetiska rösten är. Sikta på ett MOS runt 4,3–4,5.
• Röstlatens från början till slut: Räkna den totala fördröjningen från att en användare avslutar sin fråga tills agenten börjar svara. Produktionsklara agenter siktar på en tid från början till första ljudet (TTFA) på under 500 millisekunder. Modellen ElevenLabs Flash v2.5 uppnår för närvarande en intern latens för modellinferens på cirka 75 ms. Den faktiska latensen från början till slut varierar beroende på faktorer som din plats och vilken endpointtyp som används.
• Kostnad per samtal: Mät den totala driftskostnaden för varje automatiserad kundinteraktion jämfört med mänskliga samtal. Samtal med ElevenLabs börjar på 10 cent per minut, medan den genomsnittliga timlönen för kundtjänstmedarbetare tyder på att mänskliga samtal kostar omkring 32 cent per minut. Det ger kostnadsbesparingar på ungefär 70 %, även om priserna kan variera beroende på plan och användning. Se ElevenLabs prissida för aktuella priser.

När du väljer vilka nyckeltal du ska använda för att mäta modellens prestanda bör du tänka på vilka områden som är viktigast för din bransch och affärsmodell. Exempelvis är precision och faktamässig korrekthet särskilt viktigt inom områden som bankverksamhet och patientinformation, medan latens, MOS och eskalationsgrad är viktigast för företag som prioriterar kundupplevelsen. 

Observera att vissa nyckeltal ger grundorsaker till andra. Hög latens leder till exempel sannolikt till ett lågt MOS-betyg och därmed låg kundnöjdhet uttryckt som CSAT.

Så mäter du träffsäkerheten i Conversational AI

Mät modellens träffsäkerhet genom att bygga en testuppsättning med facit från omkring 500 till 1 000 verkliga historiska samtal. Verkliga loggar fångar det röriga, naturliga språk som syntetiska data ofta missar, till exempel stavfel, slang och användarfel. Utvärdera sedan systemet mot dessa verkliga loggar med avseende på avsiktsigenkänning, svarens korrekthet och hallucinationsfrekvens.

Genomför automatiserade utvärderingar av dessa interaktioner med en bedömningsmetod där en LLM fungerar som domare. Validera dock alltid de automatiserade resultaten mot system som har märkts upp av människor för att säkerställa att de stämmer överens. Mänskliga granskare gör sedan veckovisa stickprov för att utvärdera chatbotens prestanda utifrån en enkel tregradig skala:

• Korrekt: Svaret är faktamässigt korrekt, relevant i sitt sammanhang och uppfyller direkt användarens huvudsakliga avsikt.
• Godtagbart: Svaret är tekniskt korrekt och hjälpsamt, men har några mindre stilistiska problem, vissa klumpiga formuleringar eller formatering som inte följer varumärket.
• Fel: Svaret behöver korrigeras omedelbart eftersom det innehåller faktafel, allvarliga hallucinationer eller helt missförstår användarens avsikt.

Helst använder du en metod per avsikt för att utvärdera modellen, eftersom AI-agenter fungerar bra i vissa sammanhang och mycket dåligt i andra. Aggregerade siffror kan göra att områden med hög prestanda döljer kritiska svagheter.

Vi har förenklat detta workflow genom att bygga in Next Reply-testning (Scenario) direkt i vår testning för ElevenAgents. Funktionen Next Reply utvärderar uppföljningsmeddelandet som en agent skickar i stället för hela samtalet med flera turer. Du tillhandahåller dock chatthistoriken fram till utvärderingspunkten och bedömer svaret mot standarder för policy, ton och kvalitet.

Så A/B-testar du svar från Conversational AI

A/B-testning samlar in återkoppling från verkligheten så att du slipper gissa vad kunderna föredrar. Sedan använder du dessa empiriska data för att finjustera AI-modellens prestanda. Efter att ha följt upp nyckeltal har ditt team sannolikt en lista med saker ni vill ändra eller experiment ni vill genomföra. Men om du ändrar flera saker samtidigt blir det svårt att avgöra vad som fungerade och inte.

För att genomföra ett giltigt test måste du därför isolera en specifik variabel i taget och hålla resten av den underliggande kunskapsbasen konstant. Du kan bland annat variera:

• Hälsningsformulering: Anpassa det inledande hälsningsmeddelandet till något specifikt, som ”Hej! Har du svårt att välja produkt?” i stället för att bara säga ”Hej, hur kan jag hjälpa dig?”
• Röst: Kunder kan reagera mer positivt på vissa röster än andra i specifika situationer, beroende på maskulinitet eller femininitet, ton, intonation och till och med accent.
• Modellroutning: Mycket kapabla modeller kostar vanligtvis mer, så ett effektivt och kostnadseffektivt alternativ är att routa komplexa respektive enkla frågor därefter.
• Prompt: Prompter består av flera delar, så ändra bara en aspekt i taget, till exempel kontext, mål, stil, ton, målgrupp eller svarsmall (CO-STAR).

Team bör också anpassa testperioden. Samtalstrafiken är vanligtvis mycket lägre än antalet sidvisningar på webben, så du behöver köra testet i veckor snarare än dagar för att uppnå statistisk signifikans. Har du mycket låg volym bör du testa stora, tydliga förändringar i stället för mindre justeringar.

Ett praktiskt workflow kräver också versionshantering för agenter, jämförelse- och återställningsverktyg. Vi har byggt in dessa direkt i ElevenAgents. 

Så testar du en AI-agent för Conversational AI före driftsättning

Kundtjänst är en direkt kontaktpunkt med människorna som påverkar ditt resultat, och AI reagerar ibland oförutsägbart på små förändringar. Testa därför alltid en ny eller reviderad AI-agent för Conversational AI innan du lanserar den i produktion. Det räcker inte att bara ”känslotesta”.

Vi har utformat vårt testramverk för ElevenAgents kring tre huvudtyper av test som riktar in sig på specifika nivåer i din pipeline för Conversational AI:

• Simuleringstestning: Kör ett fullständigt samtal med flera turer mot en simulerad användare för att bekräfta att dialogen når önskad prestandanivå.
• Next Reply-testning: Testar endast agentens omedelbara svar mot specifika krav på ton, policy eller andra begränsningar för att bekräfta att svaren är lämpliga och korrekta.
• Testning av verktygsanrop: Säkerställer att agenter korrekt anropar anslutna API:er och skickar de exakta parametrar som krävs för kritiska databassökningar eller överföringar.

Eftersom så många angripare försöker jailbreaka modeller i skadliga syften behöver du även ett lager för adversarial testning innan du går live. Samarbeta med QA-team, promptingenjörer och cybersäkerhetsexperter inom red teaming för att testa promptinjektioner, lockbeten utanför ämnet och försök att bryta mot regler.

Slutligen, använd en stegvis lansering genom att släppa pilotversioner till en liten grupp användare och följa deras beteende i verkligheten. Sätt strikta kriterier som modellen måste uppfylla innan den släpps till en större grupp eller hela kundbasen. Kom ihåg att utse en ansvarig person som övervakar lanseringen och skapa en återställningsväg om en justering försämrar nyckeltalen.

Utvärdera chatbotars prestanda i produktion

Definiera hur framgång ser ut för varje användningsfall innan du lanserar din modell för Conversational AI. Det är särskilt viktigt för tillämpningar inom hårt reglerade områden där precision och dataskydd har högre riktmärken och striktare krav.

Automatiserade svar gör det enkelt att A/B-testa modeller i stor skala, men objektiv testning kräver att du kombinerar detta med spontana genomläsningar av transkript och återkoppling från mänskliga testare. Människor i loopen fångar samtalsnyanser som AI-modeller missar och egenheter i data som annars försvinner i aggregerade siffror. En heltäckande utvärderingsstrategi omfattar också sentimentanalys och direkt återkoppling från användare.

Kontinuerlig förbättring särskiljer dessutom mogna system som ger hög avkastning. Medan konkurrenter behandlar testning och övervakning som separata uppgifter kombinerar en mogen pipeline dem till en. I det här fallet matas produktionsfel direkt in i testuppsättningen för att träna nästa optimerade agent.

Regelbundna justeringar blir också nödvändiga när AI-företag uppdaterar basmodellerna som din agent körs på. Förändringen kan ofta göra att en tidigare effektiv prompt plötsligt bidrar till opålitliga eller till och med olämpliga svar.

Vi har byggt in denna återkopplingsloop direkt i vår plattform. Använd våra verktyg för samtalsanalys för att automatisera strukturerad datainsamling och enkelt utvärdera sentiment. Stora organisationer använder även vår infrastruktur för Conversational AI för företag för att tryggt övervaka och skala sina agenter globalt.

Kom igång med ElevenAgents för kundtjänstens nyckeltal

Att framgångsrikt lansera Conversational AI i stor skala kräver mer än högkvalitativa röster och modeller med låg latens. Du behöver en samlad miljö för att utforma, bygga, testa, driftsätta och justera workflow med flera agenter.

ElevenAgents ger dig den skalbara infrastruktur du behöver. Ditt team får tillgång till verktyg som Next Reply-verifiering, sentimentspårning och automatisk datainsamling för att kontinuerligt övervaka och optimera modeller för bästa resultat. Ännu bättre är att du fångar upp regressioner innan de når kunderna.

Är du redo att förenkla processen för att mäta Conversational AI? Utforska våra funktioner för agenttestning och se hur våra företagsteam driftsätter tillförlitliga agenter som förbättrar kundtjänstens nyckeltal. 

Läs mer om ElevenAgents eller registrera dig för att komma igång i dag.

Vanliga frågor om att mäta Conversational AI