De interactielaag voor AI bouwen: alles wat werd aangekondigd tijdens de ElevenLabs Summit NYC
- Geschreven door
- Mike Murphy
- Gepubliceerd
LuisterenLuister naar dit artikel

AI is capabeler dan ooit, maar om die intelligentie breed toegankelijk te maken, moeten systemen voor iedereen gemakkelijk te begrijpen en te gebruiken zijn. Dat hangt ervan af of die interacties natuurlijk en intuïtief aanvoelen. ElevenLabs bouwt die interactielaag voor AI.
Tijdens de Summit in New York heeft ElevenLabs vandaag nieuwe modellen, agents en implementatieopties geïntroduceerd om bedrijven te helpen via AI met mensen te communiceren en nieuwe manieren te vinden om omzet te genereren.
“Binnen enkele jaren zullen conversationele agents kritieke infrastructuur worden voor elke onderneming, net zo essentieel als cloud of betalingen”, zei Mati Staniszewski, CEO en medeoprichter van ElevenLabs. “Elk bedrijf zal opnieuw moeten uitvinden hoe het met zijn klanten, medewerkers en de rest van de wereld communiceert.”
Dit heeft ElevenLabs tijdens de Summit aangekondigd:
Vooruitgang in de modellen achter elke interactie
We begonnen met stem en bouwden toonaangevende modellen voor natuurlijke gesprekken. Ons werk breidt zich nu uit naar de modellen en tools achter alle manieren waarop mensen met technologie omgaan.
Op het podium gaf Staniszewski een voorproefje van verschillende updates die interacties tussen AI-systemen, klanten en medewerkers natuurlijker zullen maken en beter laten aansluiten op de situatie. “Onze missie bij ElevenLabs is om de interactie tussen mens en technologie op te lossen, en voor het eerst is dat mogelijk”, zei hij.
Fine-tune open-sourcemodellen en ElevenLabs-stemmodellen voor je domein
Elke sector heeft een eigen taal en eigen normen. Hoe je klanten helpt en welk kanaal het beste is voor dat gesprek, verschilt per sector. Daarom werkt ElevenLabs aan gespecialiseerde modellen voor grote sectoren. Domeinspecifieke Speech to Text-modellen leren de termen die een sector daadwerkelijk gebruikt, zoals EBITDA in de financiële wereld of HIPAA bij de overheid. ElevenLabs gebruikte deze aanpak om Scribe v3 Medical te bouwen, een transcriptiemodel voor de zorg. Het kan duizenden complexe medische termen veel nauwkeuriger herkennen en ziet het verschil tussen medicijnnamen zoals cycloserine en cyclosporine, zodat een patiënt een tuberculosebehandeling krijgt en geen immunosuppressivum.
Dit werk zal niet vertragen en Staniszewski zei dat er wordt gewerkt aan een voor de financiële dienstverlening geoptimaliseerd model. Maar we vinden ook dat bedrijven de modellen die ze gebruiken moeten kunnen verfijnen, niet alleen voor hun sector, maar ook voor hun specifieke context en klanten.
Tijdens de keynote kondigde Staniszewski aan dat we bedrijven de komende maanden zullen helpen om bepaalde open-sourcetaalmodellen en ElevenLabs-stemmodellen te fine-tunen voor eigen gebruik. “We kunnen de interactie tussen mens en AI niet oplossen zonder recht te doen aan wat mensen en bedrijven onderscheidt”, zei hij.
Teams kunnen modellen fine-tunen voor de specifieke eigenaardigheden die hun bedrijf uniek maken. Bedrijven kunnen eigen data uit hun live implementaties meenemen en samenwerken met onderzoekers van ElevenLabs om de modellen erachter te verfijnen. Elk bedrijf kan de metrics kiezen die voor hen belangrijk zijn, zoals een klanttevredenheidsscore (CSAT) of betrouwbaarheid, en onderzoekers van ElevenLabs helpen je data uit je live implementaties te gebruiken om de modellen erachter te fine-tunen. Je kunt voortdurend optimaliseren op basis van elke nieuwe interactie; Staniszewski vergeleek het met dat elk bedrijf in feite een eigen reinforcement-learningstack heeft.
“We zullen meer voor specifieke domeinen geoptimaliseerde modellen blijven uitbrengen om te zorgen dat je AI nauwkeuriger en nuttiger is, maar we vinden ook dat bedrijven verder moeten kunnen gaan met modellen die niet alleen voor hun sector, maar ook voor hun bedrijf en klanten zijn verfijnd”, zei Staniszewski. “Het is een van de beste manieren om je data voor je te laten werken en je eigen unieke voordeel uit te bouwen.”
Interaction Engine orkestreert het hele gesprek
Niet elke agentische taak heeft bij elke stap een frontiermodel nodig om te slagen. Bepalen welke modellen je moet gebruiken, hoe en wanneer, om een specifiek resultaat te bereiken, is een kunst op zich waar onderzoekers van ElevenLabs aan werken.
ElevenLabs gaf een voorproefje van een nieuw systeem, Interaction Engine genaamd, dat begint met het ritme van het gesprek. Het regelt beurtwisseling en onderbrekingen, zodat de agent weet wanneer die moet inspringen en wanneer die moet stoppen met praten. Ook kan het voor elk deel van een uitwisseling de juiste LLM kiezen. Een goedkoper model kan de triage afhandelen en het tokengebruik beperkt houden, terwijl een frontiermodel zo nodig complexere taken uitvoert.
Grote upgrades voor ElevenAgents en meer
ElevenAgents is het platform voor het configureren, implementeren en verbeteren van stem- en chatagents voor sales, support, recruitment en operations. Het begrijpt met wie het praat en past zich aan op wat diegene nodig heeft.
Klanten en partners zoals Yahoo, Westgate en KPN zetten ElevenAgents al in en zien dat agents die context en cultuur beter begrijpen, voor iedereen betere resultaten opleveren.
Staniszewski deelde verschillende updates voor ElevenAgents die interacties tussen agents en klanten soepeler en natuurlijker zullen maken.
Memory helpt ElevenAgents terugkerende klanten te onthouden
In gesprekken met klantenservice delen mensen vaak waardevolle informatie die niet wordt vastgelegd of gebruikt. “Een kenmerk van een geweldig gesprek met iemand is dat diegene onthoudt wat je hebt verteld en ernaar handelt. Agents zouden hetzelfde moeten doen”, zei Staniszewski.
Met Memory kan een ElevenAgents-agent in de loop der tijd een klantdossier opbouwen, een terugkerende geauthenticeerde klant herkennen en onthouden wat die eerder heeft gezegd. Hoewel het CRM het primaire klantdossier blijft, legt Memory de details vast die in een gesprek worden gedeeld maar nooit een eigen veld hadden, zoals voorkeuren, beperkingen en aankomende gelegenheden. Als een klant Spaans prefereert en alleen na 17.00 uur kan praten, onthoudt de agent dat en handelt ernaar.
Na elke interactie destilleert de agent het gesprek tot een gestructureerd dossier en werkt dit bij wanneer de klant terugkomt. Ook bewaart de agent details die later van belang zijn. Een telefoonabonnee die in maart heeft verteld dat hij gaat verhuizen, hoeft dit niet opnieuw te noemen wanneer hij in april belt: de agent weet automatisch dat die moet vragen of hij de dienst naar het nieuwe adres wil overzetten en de oude moet beëindigen. Het resultaat is een begrip van elke klant dat met elk gesprek groeit, zodat elke interactie persoonlijker aanvoelt dan de vorige.
Routines regelen het werk rondom gesprekken
Het meeste vervolgwerk na een gesprek met de klantenservice gebeurt nadat het gesprek is afgelopen. Vaak wordt dit gedaan door mensen en tools die geen deel uitmaakten van het oorspronkelijke gesprek. Routines, de nieuwe automatiseringslaag in ElevenAgents, stellen gebruikers in staat om meerstapswerk uit te voeren vóór, tijdens en na elk gesprek. Het maakt verbinding met tools en systemen waarin je team al werkt.
Een Routine kan een hypotheekaanvrager vooraf screenen en binnen enkele minuten terugbellen, of patiënten voorafgaand aan een afspraak herinneren en een vrijgekomen plek uit de wachtlijst aanbieden. Ze kunnen ook worden gebouwd om een rapport te e-mailen, naar een CRM te schrijven of een gesprek te starten, allemaal rechtstreeks in ElevenAgents.
Met Routines neemt ElevenAgents meer werk rondom elk gesprek op zich, zodat je team minder tijd besteedt aan voorbereiding en opvolging en meer tijd aan klanten.
ElevenAI helpt mensen aanwezig te blijven in de gesprekken die ertoe doen
In een sneak preview tijdens zijn keynote introduceerde Staniszewski ElevenAI, een nieuwe app van ElevenLabs. De app werkt als AI-teamgenoot voor enterprise-teams: hij luistert naar gesproken gesprekken, waaronder fysieke vergaderingen, en zet die om in notities en vervolgstappen. Als ElevenAgents de interactielaag tussen bedrijven en klanten is, wordt ElevenAI die laag voor medewerkers die hun werk doen.
ElevenAI biedt dicteren en vergadernotities, mogelijk gemaakt door Scribe v3, het nieuwste en nauwkeurigste Speech to Text-model van ElevenLabs. Tijdens vergaderingen maakt het met toestemming van iedereen notities en levert het na afloop van het gesprek een samenvatting en actiepunten voor elke deelnemer. Het kan tijdens een gesprek ook live ondersteuning bieden door context te delen en de samenwerking tussen mensen en agents te verbeteren. Mechanismen voor kennisgeving en toestemming zijn ingebouwd, zodat de mensen aan de andere kant zich op hun gemak voelen.
Nu mensen in hun dagelijks leven meer vertrouwen op persoonlijke agents, hebben ze op het werk ondersteuning nodig die voor hen als medewerker is gemaakt. ElevenAI past zich aan de tools en processen van een bedrijf aan en blijft de hele werkdag bij mensen. Het geeft ook de juiste context door tussen agents en mensen, zodat beide als één team kunnen samenwerken. Gratis vroege toegang tot ElevenAI wordt vandaag geopend.
Het enterprise-ecosysteem uitbreiden met het ElevenLabs Partner Program en ElevenLabs Marketplace
Het partnernetwerk van ElevenLabs is gegroeid tot meer dan 550 partners in 44 landen, waaronder Google Cloud, IBM, Deloitte, DXC en Genesys. Vandaag lanceren we het ElevenLabs Partner Program om het voor ondernemingen eenvoudiger te maken ElevenAgents te implementeren met consultancybureaus, systeemintegrators, softwareleveranciers en bureaus die hun bedrijf al kennen. Partners verzorgen de integraties met je bestaande tech stack of werken samen met ElevenLabs FDEs aan complexe implementaties, afhankelijk van wat je het snelst waarde oplevert.
Als onderdeel van het programma kondigt ElevenLabs ook een alliantie met McKinsey aan, waarbij ElevenAgents wordt gekoppeld aan de expertise van het bureau op het gebied van enterprisetransformatie en QuantumBlack, AI by McKinsey. Bedrijven kunnen nu bouwen op ElevenLabs, bouwen met een partner of bij een partner inkopen om agents op te schalen binnen complexe systemen.
Daarnaast hebben ElevenLabs en NVIDIA aangekondigd dat ze hun partnerschap uitbreiden. Nemotron 3.5 Super VL is nu beschikbaar in ElevenAgents en ElevenLabs voegt ook 15 MW aan nieuwe Vera Rubin-rekencapaciteit toe. De twee bedrijven werken ook aan een on-premises stemagent voor het nationale e-Health-platform van Polen. De agent helpt patiënten die alleen een vaste telefoon hebben met het plannen van afspraken.
Vandaag introduceren we ook de ElevenLabs Marketplace, een zorgvuldig samengesteld aanbod van sectorspecifieke AI- en stemapplicaties die onze technologiepartners op ElevenLabs hebben gebouwd voor sectoren als zorg, financiële dienstverlening, verzekeringen, onderwijs en retail. Ondernemingen kunnen agents en applicaties bekijken en rechtstreeks contact opnemen met de partners erachter. Vanaf volgend jaar kunnen bedrijven deze agents via de Marketplace kopen met hun bestaande ElevenLabs-verplichting.
Wat er gebeurt wanneer interactie is opgelost
Staniszewski sloot de keynote af met de vraag wat er gebeurt wanneer de interactie tussen mensen en AI is opgelost. Zijn antwoord was een wereld waarin technologie zich aanpast aan mensen, de grenzen van taal, geografie en schaal verdwijnen en lokale nuances en cultuur behouden blijven.
“Mensen maken zich begrijpelijkerwijs zorgen dat AI alles zou kunnen centraliseren en homogeniseren. Dat bedrijven hun onderscheidend vermogen niet kunnen beschermen. Dat elke nieuwe iteratie van AI terugvalt naar het gemiddelde”, zei Staniszewski. “Wij bouwen het tegenovergestelde: modellen, producten en een community die versterken wat je bedrijf uniek maakt en je helpen je voordeel uit te bouwen.”
De aankondigingen van vandaag zijn stappen naar die toekomst, en ElevenLabs bouwt eraan met de klanten, partners en ontwikkelaars die zich in New York hebben aangesloten. Ga aan de slag en begin met ElevenAgents.
Mike Murphy is hoofdredacteur en schrijver voor de ElevenLabs-blog, waar hij complexe onderzoeken en technologie omzet in heldere, pakkende verhalen. Voordat hij bij ElevenLabs kwam, werkte hij jarenlang als technologiereporter, onder meer bij Quartz, en leidde hij de content bij IBM Research. Hij heeft een masterdiploma in journalistiek van Northwestern.





