Die Interaktionsebene für KI: Alle Ankündigungen vom ElevenLabs Summit NYC

KI ist leistungsfähiger denn je. Damit diese Intelligenz für alle zugänglich wird, müssen Systeme einfach zu verstehen und zu nutzen sein. Dafür müssen sich Interaktionen natürlich und intuitiv anfühlen. ElevenLabs entwickelt diese Interaktionsebene für KI. 

Auf seinem New York Summit hat ElevenLabs heute neue Modelle, Agents und Bereitstellungsoptionen vorgestellt, die Unternehmen dabei helfen, über KI mit Menschen zu interagieren und neue Umsatzquellen zu erschließen.

„In wenigen Jahren werden dialogorientierte Agents für jedes Unternehmen zu kritischer Infrastruktur werden – so unverzichtbar wie Cloud oder Zahlungsverkehr“, sagte Mati Staniszewski, CEO und Mitgründer von ElevenLabs. „Jedes Unternehmen wird neu denken müssen, wie es mit seinen Kunden, Mitarbeitenden und der Welt interagiert.“

Das hat ElevenLabs auf dem Summit angekündigt:

Fortschritte bei den Modellen hinter jeder Interaktion

Wir haben mit Stimme begonnen und die branchenführenden Modelle für natürliche Gespräche entwickelt. Jetzt erweitern wir unsere Arbeit auf die Modelle und Tools, die jede Interaktion zwischen Menschen und Technologie ermöglichen.

Auf der Bühne stellte Staniszewski mehrere Updates vor, die Interaktionen zwischen KI-Systemen, Kunden und Mitarbeitenden natürlicher und situationsgerechter machen werden. „Unsere Mission bei ElevenLabs ist es, die Interaktion zwischen Mensch und Technologie zu lösen. Und zum ersten Mal ist das möglich“, sagte er. 

Open-Source-Modelle und ElevenLabs-Sprachmodelle für Ihre Domäne finetunen

Jede Branche hat ihre eigene Sprache und ihre eigenen Normen. Wie Sie Kunden betreuen und welcher Kanal dafür am besten geeignet ist, unterscheidet sich von Branche zu Branche. Deshalb entwickelt ElevenLabs spezielle Modelle für große Branchen. Domänenspezifische Speech to Text-Modelle lernen die Begriffe, die ein Unternehmen in seiner Branche tatsächlich verwendet, etwa EBITDA im Finanzwesen oder HIPAA im öffentlichen Sektor. Mit diesem Ansatz entwickelte ElevenLabs Scribe v3 Medical, ein Transkriptionsmodell für das Gesundheitswesen. Es erkennt Tausende komplexer medizinischer Begriffe deutlich genauer und unterscheidet Arzneimittelnamen wie Cycloserin und Cyclosporin, damit ein Patient eine Tuberkulosebehandlung statt eines Immunsuppressivums erhält.  

Diese Arbeit wird weitergehen. Laut Staniszewski ist bereits ein domänenoptimiertes Modell für die Finanzdienstleistungsbranche in Entwicklung. Wir sind aber auch überzeugt, dass Unternehmen die verwendeten Modelle nicht nur für ihre Branche, sondern auch für ihren spezifischen Kontext und ihre Kunden verfeinern können sollten.   

In der Keynote kündigte Staniszewski an, dass wir Unternehmen in den kommenden Monaten dabei unterstützen werden, bestimmte Open-Source-Sprachmodelle und ElevenLabs-Sprachmodelle für den eigenen Einsatz zu finetunen. „Wir werden die Interaktion zwischen Mensch und KI nicht lösen, ohne widerzuspiegeln, was Menschen und Unternehmen einzigartig macht“, sagte er.

Teams werden Modelle auf die spezifischen Eigenheiten finetunen können, die ihr Unternehmen einzigartig machen. Unternehmen können eigene Daten aus laufenden Bereitstellungen einbringen und mit Forschenden von ElevenLabs zusammenarbeiten, um die zugrunde liegenden Modelle zu verfeinern. Jedes Unternehmen kann die für es wichtigen Kennzahlen wählen, etwa Kundenzufriedenheit (CSAT) oder Zuverlässigkeit. Forschende von ElevenLabs helfen Ihnen dann, Daten aus Ihren laufenden Bereitstellungen zum Finetuning der zugrunde liegenden Modelle zu nutzen. Sie können auf Basis jeder neuen Interaktion kontinuierlich optimieren; Staniszewski verglich dies damit, dass jedes Unternehmen im Grunde über seinen eigenen Reinforcement-Learning-Stack verfügt.  

„Wir werden weiterhin mehr domänenoptimierte Modelle bereitstellen, damit Ihre KI präziser und nützlicher wird. Gleichzeitig sollten Unternehmen unserer Ansicht nach noch weitergehen können – mit Modellen, die nicht nur für ihre Branche, sondern für ihr Unternehmen und ihre Kunden verfeinert sind“, sagte Staniszewski. „Das ist eine der besten Möglichkeiten, Ihre Daten für sich arbeiten zu lassen und Ihren eigenen einzigartigen Vorteil auszubauen.“

Interaction Engine orchestriert das gesamte Gespräch 

Nicht jede agentische Aufgabe benötigt bei jedem Schritt ein Spitzenmodell, um erfolgreich zu sein. Zu bestimmen, welche Modelle wann und wie eingesetzt werden, um ein bestimmtes Ergebnis zu erzielen, ist eine Kunst für sich. Daran arbeiten die Forschenden von ElevenLabs. 

ElevenLabs gab einen Vorgeschmack auf ein neues System namens Interaction Engine, das beim Rhythmus des Gesprächs ansetzt. Es steuert Sprecherwechsel und Unterbrechungen, damit der Agent weiß, wann er eingreifen und wann er aufhören soll zu sprechen. Außerdem kann es für jeden Teil eines Austauschs das passende LLM auswählen. Ein kostengünstigeres Modell kann die Triage übernehmen und den Tokenverbrauch begrenzen, während bei Bedarf ein Spitzenmodell komplexere Aufgaben bearbeitet.

Umfangreiche Upgrades für ElevenAgents und mehr

ElevenAgents ist die Plattform zum Konfigurieren, Bereitstellen und Verbessern von Sprach- und Chat-Agents in Vertrieb, Support, Recruiting und Betrieb. Sie versteht, mit wem sie spricht, und passt sich den jeweiligen Bedürfnissen an. 

Kunden und Partner wie Yahoo, Westgate und KPN setzen ElevenAgents bereits ein und sehen, dass Agents, die Kontext und Kultur besser verstehen, für alle bessere Ergebnisse liefern.

Staniszewski stellte mehrere kommende Updates für ElevenAgents vor, die Interaktionen zwischen Agents und Kunden nahtloser und natürlicher machen werden. 

Memory hilft ElevenAgents, wiederkehrende Kunden wiederzuerkennen

In Gesprächen im Kundensupport teilen Menschen oft wertvolle Informationen, die weder erfasst noch genutzt werden. „Ein Merkmal eines guten Gesprächs mit einem Menschen ist, dass er sich an das erinnert, was Sie ihm erzählt haben, und danach handelt. Agents sollten das genauso tun“, sagte Staniszewski.

Memory ermöglicht einem ElevenAgents-Agent, im Laufe der Zeit ein Kundenprofil aufzubauen, wiederkehrende authentifizierte Kunden zu erkennen und sich an frühere Aussagen zu erinnern. Während das CRM die zentrale Kundendatenbank bleibt, erfasst Memory Details aus Gesprächen, für die es bislang kein Feld gab: etwa Präferenzen, Einschränkungen oder anstehende Ereignisse. Wenn ein Kunde Spanisch bevorzugt und erst nach 17 Uhr sprechen kann, merkt sich der Agent das und handelt danach.

Nach jeder Interaktion verdichtet der Agent das Gespräch zu einem strukturierten Eintrag und aktualisiert ihn, wenn der Kunde zurückkehrt. Er behält auch Details, die später wichtig werden. Ein Telefonkunde, der erwähnt hat, dass er im März umzieht, muss dies bei einem Anruf im April nicht erneut sagen: Der Agent weiß automatisch, dass er fragen sollte, ob der Anschluss an die neue Adresse übertragen werden soll, und den alten deaktivieren. So entsteht ein Verständnis für jeden Kunden, das mit jedem Gespräch wächst und jede Interaktion persönlicher macht als die vorherige.

Routines übernehmen die Arbeit rund um Gespräche

Der größte Teil der Nachbereitung eines Kundensupport-Anrufs findet nach dem Gespräch statt. Oft übernehmen ihn Menschen und Tools, die nicht Teil des ursprünglichen Gesprächs waren. Routines, die neue Automatisierungsebene in ElevenAgents, ermöglichen Nutzern, mehrstufige Abläufe vor, während und nach jedem Gespräch auszuführen. Sie verbindet sich mit den Tools und Systemen, mit denen Ihr Team bereits arbeitet. 

Eine Routine kann einen Hypothekenantrag vorab prüfen und innerhalb weniger Minuten zurückrufen. Sie kann Patienten vor einem Termin erinnern und ihnen einen frei gewordenen Termin von der Warteliste anbieten. Routines lassen sich auch so erstellen, dass sie einen Bericht per E-Mail senden, in ein CRM schreiben oder einen Anruf starten – alles nativ in ElevenAgents.

Mit Routines übernimmt ElevenAgents mehr Arbeit rund um jedes Gespräch. So verbringt Ihr Team weniger Zeit mit Vorbereitung und Nachbereitung und mehr Zeit mit Kunden.

ElevenAI hilft Menschen, in wichtigen Gesprächen präsent zu bleiben

In einer Vorschau während seiner Keynote stellte Staniszewski ElevenAI vor, eine neue App von ElevenLabs. Sie fungiert als KI-Teamkollege für Unternehmensteams: Sie hört gesprochene Gespräche mit, einschließlich persönlicher Meetings, und wandelt sie in Notizen und nächste Schritte um. Wenn ElevenAgents die Interaktionsebene zwischen Unternehmen und Kunden ist, wird ElevenAI diese Ebene für Mitarbeitende bei ihrer Arbeit sein. 

ElevenAI bietet Diktierfunktion und Besprechungsnotizen auf Basis von Scribe v3, dem neuesten und präzisesten Speech-to-Text-Modell von ElevenLabs. In Meetings erstellt es mit Einwilligung aller Beteiligten Notizen und liefert nach Ende des Gesprächs eine Zusammenfassung sowie Aufgaben für jeden Teilnehmer. Während eines Gesprächs kann es auch Live-Unterstützung leisten, Kontext teilen und die Zusammenarbeit zwischen Menschen und Agents verbessern. Hinweise und Einwilligungsmechanismen sind integriert, damit sich die Personen am anderen Ende wohlfühlen.

Da Menschen in ihrem Alltag zunehmend auf persönliche Agents setzen, benötigen sie am Arbeitsplatz Unterstützung, die für sie als Mitarbeitende entwickelt wurde. ElevenAI passt sich an die Tools und Prozesse eines Unternehmens an und begleitet Menschen durch ihren gesamten Arbeitstag. Außerdem vermittelt es den richtigen Kontext zwischen Agents und Menschen, damit beide als ein Team zusammenarbeiten können. Der kostenlose Frühzugang zu ElevenAI startet heute. 

Das Unternehmensökosystem mit dem ElevenLabs Partner Program und dem ElevenLabs Marketplace erweitern

Das Partnernetzwerk von ElevenLabs ist auf mehr als 550 Partner in 44 Ländern gewachsen, darunter Google Cloud, IBM, Deloitte, DXC und Genesys. Heute starten wir das ElevenLabs Partner Program, damit Unternehmen ElevenAgents leichter mit Beratungen, Systemintegratoren, Softwareanbietern und Agenturen bereitstellen können, die ihr Geschäft bereits kennen. Partner übernehmen die Integration in Ihren bestehenden Tech-Stack oder arbeiten bei komplexen Bereitstellungen mit ElevenLabs FDEs zusammen – je nachdem, wie Sie am schnellsten Nutzen erzielen.

Im Rahmen des Programms kündigt ElevenLabs außerdem eine Allianz mit McKinsey an. Sie verbindet ElevenAgents mit der Expertise des Unternehmens für Transformationen in Großunternehmen und QuantumBlack, AI by McKinsey. Unternehmen können jetzt auf ElevenLabs entwickeln, gemeinsam mit einem Partner entwickeln oder von einem Partner kaufen, um Agents über komplexe Systeme hinweg zu skalieren.

Zusätzlich haben ElevenLabs und NVIDIA angekündigt, ihre Partnerschaft auszubauen. Nemotron 3.5 Super VL ist jetzt in ElevenAgents verfügbar, und ElevenLabs erweitert seine Rechenkapazität für Vera Rubin um 15 MW. Die beiden Unternehmen werden außerdem an einem On-Premises-Sprachagenten für Polens nationale E-Health-Plattform arbeiten. Der Agent wird Termine für Patienten koordinieren, die nur über Festnetzanschlüsse verfügen. 

Heute stellen wir außerdem den ElevenLabs Marketplace vor: eine kuratierte Auswahl branchenspezifischer KI- und Sprachanwendungen, die unsere Technologiepartner auf ElevenLabs entwickelt haben – für Branchen wie Gesundheitswesen, Finanzdienstleistungen, Versicherungen, Bildung und Einzelhandel. Unternehmen können Agents und Anwendungen durchsuchen und sich direkt mit den dahinterstehenden Partnern verbinden. Ab nächstem Jahr können Unternehmen diese Agents über den Marketplace mit ihrem bestehenden ElevenLabs-Vertrag kaufen. 

Was geschieht, wenn Interaktion gelöst ist

Staniszewski schloss die Keynote mit der Frage, was geschieht, wenn die Interaktion zwischen Menschen und KI gelöst ist. Seine Antwort war eine Welt, in der Technologie sich an Menschen anpasst, die Grenzen von Sprache, Geografie und Skalierung verschwinden und lokale Nuancen und Kultur erhalten bleiben.

„Menschen befürchten verständlicherweise, dass KI alles zentralisieren und vereinheitlichen könnte. Dass Unternehmen ihre Wettbewerbsvorteile nicht schützen können. Dass jede neue KI-Iteration sich dem Durchschnitt annähert“, sagte Staniszewski. „Wir entwickeln das Gegenteil: Modelle, Produkte und eine Community, die das verstärken, was Ihr Unternehmen einzigartig macht, und Ihnen helfen, Ihren Vorteil auszubauen.“ 

Die heutigen Ankündigungen sind Schritte in diese Zukunft. ElevenLabs gestaltet sie gemeinsam mit den Kunden, Partnern und Entwicklern, die in New York dabei waren. Um zu starten, beginnen Sie mit ElevenAgents.