Tworzymy warstwę interakcji dla AI: wszystko, co ogłosiliśmy na ElevenLabs Summit NYC

AI ma dziś większe możliwości niż kiedykolwiek, ale by ta inteligencja była powszechnie dostępna, systemy muszą być łatwe do zrozumienia i użycia dla każdego. To wymaga naturalnych i intuicyjnych interakcji. ElevenLabs buduje tę warstwę interakcji dla AI. 

Podczas dzisiejszego Summit w Nowym Jorku ElevenLabs zaprezentowało nowe modele, agentów i opcje wdrożenia, które pomagają firmom kontaktować się z ludźmi przez AI i znajdować nowe źródła przychodów.

„W ciągu kilku lat agenci konwersacyjni staną się kluczową infrastrukturą każdej firmy — równie niezbędną jak chmura czy płatności” — powiedział Mati Staniszewski, CEO i współzałożyciel ElevenLabs. „Każda firma będzie musiała na nowo przemyśleć, jak kontaktuje się z klientami, pracownikami i całym światem.”

Oto co ElevenLabs ogłosiło podczas Summit:

Postępy w modelach napędzających każdą interakcję

Zaczęliśmy od głosu i stworzyliśmy wiodące w branży modele do naturalnych rozmów. Teraz rozwijamy też modele i narzędzia wspierające wszystkie sposoby, w jakie ludzie korzystają z technologii.

Na scenie Staniszewski zapowiedział kilka aktualizacji, które sprawią, że interakcje między systemami AI, klientami i pracownikami będą bardziej naturalne i lepiej dopasowane do sytuacji. „Misją ElevenLabs jest rozwiązanie problemu interakcji człowieka z technologią — i po raz pierwszy jest to możliwe” — powiedział. 

Dostrajaj modele open source i modele głosowe ElevenLabs do swojej branży

Każda branża ma własny język i normy. Sposób obsługi klientów oraz najlepszy kanał rozmowy różnią się zależnie od branży. Dlatego ElevenLabs pracuje nad wyspecjalizowanymi modelami dla najważniejszych branż. Modele Speech to Text dla konkretnych branż uczą się używanych w nich terminów, takich jak EBITDA w finansach czy HIPAA w administracji publicznej. W ten sposób ElevenLabs stworzyło Scribe v3 Medical — model transkrypcji dla ochrony zdrowia. Rozpoznaje tysiące złożonych terminów medycznych ze znacznie większą dokładnością i odróżnia nazwy leków, takie jak cykloseryna i cyklosporyna, dzięki czemu pacjent otrzymuje leczenie gruźlicy, a nie lek immunosupresyjny.  

Te prace nie zwalniają. Staniszewski powiedział, że powstaje model zoptymalizowany pod branżę usług finansowych. Wierzymy też, że firmy powinny móc dostrajać używane modele nie tylko do swojej branży, lecz także do własnego kontekstu i klientów.   

W wystąpieniu Staniszewski zapowiedział, że w nadchodzących miesiącach pomożemy firmom dostrajać wybrane modele językowe open source oraz modele głosowe ElevenLabs do własnych potrzeb. „Nie rozwiążemy problemu interakcji człowieka z AI, jeśli nie uwzględnimy tego, co wyróżnia ludzi i firmy” — powiedział.

Zespoły będą mogły dostrajać modele do konkretnych cech, które czynią ich firmę wyjątkową. Firmy mogą wykorzystać własne dane z działających wdrożeń i współpracować z badaczami ElevenLabs, by udoskonalać modele, które je napędzają. Każda firma może wybrać ważne dla niej wskaźniki, takie jak ocena satysfakcji klienta (CSAT) czy niezawodność, a badacze ElevenLabs pomogą wykorzystać dane z działających wdrożeń do dostrojenia napędzających je modeli. Możesz stale optymalizować je na podstawie każdej nowej interakcji; Staniszewski porównał to do posiadania przez każdą firmę własnego stosu uczenia ze wzmocnieniem.  

„Będziemy nadal udostępniać kolejne modele zoptymalizowane pod branże, aby twoje AI było dokładniejsze i bardziej użyteczne. Uważamy jednak też, że firmy powinny móc pójść dalej — dostrajać modele nie tylko do swojej branży, lecz także do swojej firmy i klientów” — powiedział Staniszewski. „To jeden z najlepszych sposobów, by twoje dane pracowały dla ciebie i wzmacniały twoją wyjątkową przewagę.”

Interaction Engine koordynuje całą rozmowę 

Nie każde zadanie agentowe wymaga na każdym etapie modelu z czołówki. Ustalenie, których modeli użyć, jak i kiedy, by osiągnąć konkretny rezultat, samo w sobie jest sztuką — i problemem, nad którym pracują badacze ElevenLabs. 

ElevenLabs zaprezentowało zapowiedź nowego systemu o nazwie Interaction Engine, który zaczyna od rytmu rozmowy. Obsługuje zmianę tur i przerwania, dzięki czemu agent wie, kiedy się włączyć, a kiedy przestać mówić. Potrafi też wybrać właściwy LLM dla każdej części wymiany. Tańszy model może obsłużyć wstępną selekcję, ograniczając użycie tokenów, a model z czołówki wkracza do bardziej złożonych zadań, gdy jest potrzebny.

Duże aktualizacje ElevenAgents i nie tylko

ElevenAgents to platforma do konfigurowania, wdrażania i ulepszania agentów głosowych i czatowych w sprzedaży, wsparciu, rekrutacji i operacjach. Rozumie, z kim rozmawia, i dostosowuje się do jego potrzeb. 

Klienci i partnerzy, tacy jak Yahoo, Westgate i KPN, już korzystają z ElevenAgents i widzą, że agenci lepiej rozumiejący kontekst i kulturę zapewniają lepsze rezultaty dla wszystkich.

Staniszewski przedstawił kilka nadchodzących aktualizacji ElevenAgents, które sprawią, że interakcje między agentami a klientami będą płynniejsze i bardziej naturalne. 

Memory pomaga ElevenAgents pamiętać powracających klientów

W rozmowach z obsługą klienta ludzie często przekazują cenne informacje, które nie są zapisywane ani wykorzystywane. „Jedną z cech świetnej rozmowy z człowiekiem jest to, że pamięta on, co mu powiedziałeś, i odpowiednio działa. Agenci powinni robić to samo” — powiedział Staniszewski.

Memory pozwoli agentowi ElevenAgents z czasem tworzyć profil klienta, rozpoznawać powracającego uwierzytelnionego klienta i pamiętać, co mówił wcześniej. CRM pozostaje głównym źródłem danych o kliencie, ale Memory zapisuje szczegóły przekazane w rozmowie, dla których nie było pola — na przykład preferencje, ograniczenia czy nadchodzące okazje. Jeśli klient woli język hiszpański i może rozmawiać tylko po 17:00, agent to zapamięta i uwzględni.

Po każdej interakcji agent przekształca rozmowę w uporządkowany zapis i aktualizuje go, gdy klient wraca. Zachowuje też szczegóły, które będą ważne później. Abonent telefonu, który wspomniał, że przeprowadza się w marcu, nie musi powtarzać tego, gdy dzwoni w kwietniu: agent automatycznie zapyta, czy chce przenieść usługę pod nowy adres, i wyłączy ją pod starym. W efekcie wiedza o każdym kliencie rośnie z każdą rozmową, więc każda kolejna interakcja jest bardziej osobista od poprzedniej.

Routines obsługuje pracę wokół rozmów

Większość działań po rozmowie z obsługą klienta odbywa się już po jej zakończeniu. Często wykonują je ludzie i narzędzia, które nie uczestniczyły w pierwotnej rozmowie. Routines, nowa warstwa automatyzacji w ElevenAgents, pozwoli użytkownikom uruchamiać wieloetapowe zadania przed, w trakcie i po każdej rozmowie. Łączy się z narzędziami i systemami, w których już pracuje twój zespół. 

Routine może wstępnie ocenić wniosek o kredyt hipoteczny i oddzwonić w ciągu kilku minut albo przypomnieć pacjentom o zbliżającej się wizycie i zaproponować zwolniony termin z listy oczekujących. Można też skonfigurować ją tak, by wysyłała raport e-mailem, zapisywała dane w CRM lub rozpoczynała rozmowę — wszystko natywnie w ElevenAgents.

Dzięki Routines ElevenAgents przejmuje więcej pracy związanej z każdą rozmową, więc twój zespół spędza mniej czasu na przygotowaniach i działaniach po rozmowie, a więcej z klientami.

ElevenAI pomaga być obecnym w ważnych rozmowach

W krótkiej zapowiedzi podczas wystąpienia Staniszewski przedstawił ElevenAI, nową aplikację od ElevenLabs. Działa jak członek zespołu AI dla zespołów w firmach: słucha rozmów, także spotkań na żywo, i zamienia je w notatki oraz kolejne kroki. Jeśli ElevenAgents jest warstwą interakcji między firmami a klientami, ElevenAI będzie taką warstwą dla pracowników wykonujących swoją pracę. 

ElevenAI oferuje dyktowanie i notatki ze spotkań oparte na Scribe v3, najnowszym i najdokładniejszym modelu Speech to Text od ElevenLabs. Podczas spotkań sporządza notatki za zgodą wszystkich uczestników, a po zakończeniu rozmowy przekazuje podsumowanie i zadania dla każdej osoby. Może też pomagać na żywo podczas rozmowy, udostępniając kontekst i usprawniając współpracę ludzi z agentami. Wbudowane mechanizmy powiadamiania i uzyskiwania zgody sprawiają, że rozmówcy czują się komfortowo.

W miarę jak ludzie coraz częściej korzystają z osobistych agentów na co dzień, będą potrzebować w pracy wsparcia stworzonego z myślą o nich jako pracownikach. ElevenAI dostosowuje się do narzędzi i procesów firmy oraz towarzyszy ludziom przez cały dzień pracy. Przekazuje też właściwy kontekst między agentami a ludźmi, dzięki czemu mogą działać jak jeden zespół. Bezpłatny wcześniejszy dostęp do ElevenAI rusza dziś. 

Rozbudowa ekosystemu enterprise dzięki ElevenLabs Partner Program i ElevenLabs Marketplace

Sieć partnerów ElevenLabs rozrosła się do ponad 550 partnerów w 44 krajach, w tym Google Cloud, IBM, Deloitte, DXC i Genesys. Dziś uruchamiamy ElevenLabs Partner Program, aby ułatwić firmom wdrażanie ElevenAgents z konsultantami, integratorami systemów, dostawcami oprogramowania i agencjami, które już znają ich biznes. Partnerzy zajmują się integracją z istniejącym stosem technologicznym lub współpracują z ElevenLabs FDEs przy złożonych wdrożeniach — zależnie od tego, co najszybciej przyniesie ci wartość.

W ramach programu ElevenLabs ogłasza też sojusz z McKinsey, łącząc ElevenAgents z doświadczeniem firmy w transformacji przedsiębiorstw oraz QuantumBlack, AI by McKinsey. Firmy mogą teraz tworzyć na ElevenLabs, tworzyć z partnerem lub kupować od partnera, aby skalować agentów w złożonych systemach.

Ponadto ElevenLabs i NVIDIA ogłosiły rozszerzenie współpracy. Nemotron 3.5 Super VL jest już dostępny w ElevenAgents, a ElevenLabs dodaje też 15 MW nowej mocy obliczeniowej Vera Rubin. Obie firmy będą również pracować nad lokalnie wdrażanym agentem głosowym dla polskiej krajowej platformy e-Zdrowie. Agent będzie pomagać w umawianiu wizyt pacjentom mającym tylko telefony stacjonarne. 

Dziś przedstawiamy też ElevenLabs Marketplace — wyselekcjonowaną ofertę branżowych aplikacji AI i głosowych zbudowanych na ElevenLabs przez naszych partnerów technologicznych dla takich sektorów jak ochrona zdrowia, usługi finansowe, ubezpieczenia, edukacja i handel detaliczny. Firmy mogą przeglądać agentów i aplikacje oraz kontaktować się bezpośrednio z partnerami, którzy je stworzyli. Od przyszłego roku będą mogły kupować tych agentów przez Marketplace, korzystając z obecnego zobowiązania wobec ElevenLabs. 

Co się dzieje, gdy interakcja przestaje być problemem

Staniszewski zakończył wystąpienie pytaniem, co stanie się, gdy rozwiążemy problem interakcji między ludźmi a AI. Odpowiedział: powstanie świat, w którym technologia dostosowuje się do ludzi, znikają ograniczenia języka, geografii i skali, a lokalne niuanse i kultura zostają zachowane.

„Ludzie słusznie obawiają się, że AI może wszystko centralizować i ujednolicać. Że firmy nie będą w stanie chronić swoich przewag. Że każda kolejna wersja AI będzie dążyć do przeciętności” — powiedział Staniszewski. „My budujemy coś przeciwnego: modele, produkty i społeczność, które wzmacniają to, co wyróżnia twoją firmę, i pomagają rozwijać twoją przewagę.” 

Dzisiejsze ogłoszenia to kroki w stronę tej przyszłości, a ElevenLabs buduje ją wspólnie z klientami, partnerami i deweloperami, którzy spotkali się w Nowym Jorku. Na początek zacznij od ElevenAgents.