Vi bygger AI:s interaktionslager: Allt som tillkännagavs på ElevenLabs Summit NYC

AI är mer kapabel än någonsin, men för att göra den intelligensen brett tillgänglig måste systemen vara enkla för alla att förstå och använda. Det bygger på att interaktionerna känns naturliga och intuitiva. ElevenLabs bygger det interaktionslagret för AI. 

På sitt Summit i New York i dag presenterade ElevenLabs nya modeller, agenter och driftsättningsalternativ som hjälper företag att interagera med människor genom AI och hitta nya sätt att skapa intäkter.

”Inom några år blir konversationsagenter kritisk infrastruktur för alla företag, lika viktiga som molntjänster eller betalningar”, säger Mati Staniszewski, VD och medgrundare av ElevenLabs. ”Alla företag måste tänka om kring hur de interagerar med sina kunder, medarbetare och omvärlden.”

Här är vad ElevenLabs tillkännagav på Summit:

Framsteg i modellerna som driver varje interaktion

Vi började med röst och byggde branschens ledande modeller för naturliga samtal. Nu utvidgar vi vårt arbete till modellerna och verktygen som driver alla sätt människor interagerar med teknik på.

På scen förhandsvisade Staniszewski flera uppdateringar som gör interaktioner mellan AI-system, kunder och medarbetare mer naturliga och bättre anpassade till situationen. ”Vårt uppdrag på ElevenLabs är att lösa interaktionen mellan människa och teknik, och för första gången går det att lösa”, säger han. 

Finjustera modeller med öppen källkod och ElevenLabs röstmodeller för din domän

Varje bransch har sitt eget språk och sina egna normer. Hur du hjälper kunder och vilken kanal som passar bäst för samtalet skiljer sig mellan branscher. Därför har ElevenLabs arbetat med att bygga specialiserade modeller för stora branscher. Branschspecifika Speech to Text-modeller lär sig de termer som företag faktiskt använder, som EBITDA inom finans eller HIPAA inom offentlig sektor. ElevenLabs använde detta arbetssätt för att bygga Scribe v3 Medical, en transkriberingsmodell för sjukvården. Den kan känna igen tusentals komplexa medicinska termer med betydligt högre precision och uppfattar skillnaden mellan läkemedelsnamn som cykloserin och ciklosporin, så att patienten får behandling mot tuberkulos och inte ett immunsuppressivt läkemedel.

Det här arbetet kommer inte att sakta ner, och Staniszewski säger att en domänoptimerad modell för finansbranschen är på väg. Men vi anser också att företag ska kunna förfina modellerna de använder, inte bara för sin bransch utan även för sin specifika kontext och sina kunder.   

I huvudanförandet meddelade Staniszewski att vi under de kommande månaderna kommer att hjälpa företag att finjustera vissa språkmodeller med öppen källkod, liksom ElevenLabs röstmodeller, för egen användning. ”Vi kan inte lösa interaktionen mellan människa och AI utan att återspegla det som gör människor och företag unika”, säger han.

Team kommer att kunna finjustera modeller efter de specifika särdrag som gör deras företag unikt. Företag kan ta med sin egen data från produktionssatta lösningar och arbeta med ElevenLabs forskare för att förfina modellerna som driver dem. Varje företag kan välja de mätvärden som är viktiga för dem, till exempel kundnöjdhet (CSAT) eller tillförlitlighet, och ElevenLabs forskare hjälper dig att använda data från dina produktionssatta lösningar för att finjustera modellerna som driver dem. Du kan optimera kontinuerligt utifrån varje ny interaktion. Staniszewski jämförde det med att varje företag i praktiken har sin egen förstärkningsinlärningsstack.  

”Vi kommer att fortsätta lansera fler domänoptimerade modeller för att göra din AI mer träffsäker och användbar, men vi tycker också att företag ska kunna gå längre, med modeller som är förfinade inte bara för deras bransch utan för deras företag och kunder”, säger Staniszewski. ”Det är ett av de bästa sätten att få din data att arbeta för dig och utöka din egen unika fördel.”

Interaction Engine samordnar hela samtalet 

Alla agentbaserade uppgifter kräver inte en toppmodell i varje steg för att lyckas. Att avgöra vilka modeller som ska användas, hur och när, för att uppnå ett visst resultat är en konst i sig – och något som ElevenLabs forskare har arbetat med att lösa. 

ElevenLabs förhandsvisade ett nytt system, Interaction Engine, som utgår från samtalets rytm. Det hanterar turtagning och avbrott, så att agenten vet när den ska komma in och när den ska sluta prata. Det kan också välja rätt LLM för varje del av ett samtal. En billigare modell kan hantera första bedömningen och hålla tokenanvändningen under kontroll, medan en toppmodell tar över mer komplexa uppgifter vid behov.

Stora uppgraderingar av ElevenAgents och mer

ElevenAgents är plattformen för att konfigurera, driftsätta och förbättra röst- och chattagenter inom försäljning, support, rekrytering och verksamhet. Den förstår vem den pratar med och anpassar sig efter deras behov. 

Kunder och partner som Yahoo, Westgate och KPN använder redan ElevenAgents och ser att agenter som bättre förstår sammanhang och kultur ger bättre resultat för alla.

Staniszewski delade flera kommande uppdateringar till ElevenAgents som gör interaktionerna mellan agenter och kunder smidigare och mer naturliga. 

Memory hjälper ElevenAgents att minnas återkommande kunder

I kundsupportsamtal delar människor ofta värdefull information som varken fångas upp eller används. ”Ett av kännetecknen för ett bra samtal med en person är att de kommer ihåg vad du berättade och agerar utifrån det. Agenter bör göra samma sak”, säger Staniszewski.

Memory låter en ElevenAgents-agent bygga upp en kundprofil över tid, känna igen en återkommande autentiserad kund och minnas vad kunden sagt tidigare. CRM-systemet är fortfarande det primära kundregistret, men Memory fångar upp detaljer som delas i samtal och som aldrig haft ett eget fält – som preferenser, begränsningar och kommande tillfällen. Om en kund föredrar spanska och bara kan prata efter klockan 17 minns agenten det och agerar utifrån det.

Efter varje interaktion sammanfattar agenten samtalet i ett strukturerat register och uppdaterar det när kunden återkommer. Den sparar också detaljer som blir viktiga senare. En telefonabonnent som nämnde att han skulle flytta i mars behöver inte ta upp det igen när han ringer i april: agenten vet automatiskt att fråga om han vill flytta tjänsten till den nya adressen och avsluta den på den gamla. Resultatet är en förståelse för varje kund som växer med varje samtal, så att varje interaktion känns mer personlig än den föregående.

Routines hanterar arbetet runt samtal

Det mesta uppföljningsarbetet efter ett kundsupportsamtal sker när samtalet har avslutats. Det görs ofta av personer och verktyg som inte var en del av det ursprungliga samtalet. Routines, det nya automatiseringslagret i ElevenAgents, låter användare köra arbetsflöden i flera steg före, under och efter varje samtal. Det ansluter till verktyg och system som ditt team redan arbetar i. 

En Routine kan förhandsgranska en bolåneansökan och ringa tillbaka inom några minuter, eller påminna patienter inför ett besök och erbjuda en avbokad tid från väntelistan. De kan också skapas för att mejla en rapport, skriva till ett CRM-system eller starta ett samtal – allt direkt i ElevenAgents.

Med Routines tar ElevenAgents hand om mer av arbetet kring varje samtal, så att ditt team lägger mindre tid på förberedelser och uppföljning och mer tid på kunder.

ElevenAI hjälper människor att vara närvarande i de samtal som betyder mest

I en smygtitt under sitt huvudanförande presenterade Staniszewski ElevenAI, en ny app från ElevenLabs. Den fungerar som en AI-kollega för företags team: den lyssnar på talade samtal, även fysiska möten, och omvandlar dem till anteckningar och nästa steg. Om ElevenAgents är interaktionslagret mellan företag och kunder blir ElevenAI det lagret för medarbetare som får arbetet gjort. 

ElevenAI erbjuder diktering och mötesanteckningar med stöd av Scribe v3, ElevenLabs senaste och mest träffsäkra Speech to Text-modell. Under möten gör den anteckningar med allas samtycke och ger sedan varje deltagare en sammanfattning och åtgärdspunkter när samtalet är slut. Den kan också ge hjälp i realtid under ett samtal, dela kontext och förbättra samarbetet mellan människor och agenter. Mekanismer för information och samtycke är inbyggda, så att personerna i andra änden känner sig trygga.

När människor i större utsträckning förlitar sig på personliga agenter i vardagen behöver de stöd på jobbet som är byggt för dem som medarbetare. ElevenAI anpassar sig till ett företags verktyg och processer och följer människor under hela arbetsdagen. Den för också rätt kontext mellan agenter och människor, så att de två kan arbeta tillsammans som ett team. Kostnadsfri tidig åtkomst till ElevenAI öppnar i dag. 

Vi utökar företagsecosystemet med ElevenLabs Partner Program och ElevenLabs Marketplace

ElevenLabs partnernätverk har vuxit till över 550 partner i 44 länder, däribland Google Cloud, IBM, Deloitte, DXC och Genesys. I dag lanserar vi ElevenLabs Partner Program för att göra det enklare för företag att driftsätta ElevenAgents tillsammans med konsulter, systemintegratörer, programvaruleverantörer och byråer som redan känner till deras verksamhet. Partner hanterar integreringar med din befintliga teknikstack eller arbetar tillsammans med ElevenLabs FDEs med komplexa driftsättningar – det som hjälper dig att snabbast få nytta av lösningen.

Som en del av programmet tillkännager ElevenLabs också en allians med McKinsey, som kombinerar ElevenAgents med företagets expertis inom verksamhetsförändring för stora företag och QuantumBlack, AI by McKinsey. Företag kan nu bygga på ElevenLabs, bygga tillsammans med en partner eller köpa från en partner för att skala agenter i komplexa system.

Dessutom meddelade ElevenLabs och NVIDIA att de utökar sitt partnerskap. Nemotron 3.5 Super VL finns nu tillgänglig i ElevenAgents, och ElevenLabs lägger också till 15 MW ny beräkningskapacitet med Vera Rubin. De två företagen kommer även att arbeta med en lokal röstagent för Polens nationella e-hälsoplattform. Agenten kommer att hjälpa patienter som endast har fasta telefoner att boka tider.

I dag introducerar vi också ElevenLabs Marketplace, en utvald samling branschspecifika AI- och röstapplikationer som våra teknikpartner har byggt på ElevenLabs för bland annat sjukvård, finansiella tjänster, försäkring, utbildning och handel. Företag kan bläddra bland agenter och applikationer och få direktkontakt med partnerna bakom dem. Från och med nästa år kan företag köpa dessa agenter via Marketplace med sitt befintliga åtagande hos ElevenLabs.

Vad händer när interaktion är löst

Staniszewski avslutade huvudanförandet med frågan om vad som händer när interaktionen mellan människor och AI är löst. Hans svar var en värld där tekniken anpassar sig till människor, där språkets, geografins och skalans begränsningar försvinner och där lokala nyanser och kulturer bevaras.

”Människor är förståeligt nog oroliga för att AI kan centralisera och likrikta allt. Att företag inte kommer att kunna skydda sina konkurrensfördelar. Att varje ny version av AI närmar sig genomsnittet”, säger Staniszewski. ”Vi bygger motsatsen: modeller, produkter och en gemenskap som förstärker det som gör ditt företag unikt och hjälper dig att utöka din fördel.” 

Dagens tillkännagivanden är steg mot den framtiden, och ElevenLabs bygger den tillsammans med kunderna, partnerna och utvecklarna som deltog i New York. Kom i gång genom att börja med ElevenAgents.