Creare il livello di interazione per l’IA: tutti gli annunci dell’ElevenLabs Summit NYC

L’IA è più capace che mai, ma per rendere questa intelligenza ampiamente accessibile, i sistemi devono essere facili da comprendere e usare per tutti. Questo dipende dal fatto che le interazioni risultino naturali e intuitive. ElevenLabs sta creando questo livello di interazione per l’IA. 

Al Summit di New York di oggi, ElevenLabs ha presentato nuovi modelli, agenti e opzioni di deployment per aiutare le aziende a interagire con le persone attraverso l’IA e trovare nuovi modi per generare ricavi.

«Nel giro di pochi anni, gli agenti conversazionali diventeranno un’infrastruttura critica per ogni azienda, essenziale quanto il cloud o i pagamenti», ha dichiarato Mati Staniszewski, CEO e cofondatore di ElevenLabs. «Ogni azienda dovrà reinventare il modo in cui interagisce con clienti, dipendenti e il mondo esterno.»

Ecco cosa ha annunciato ElevenLabs al Summit:

Progressi nei modelli che rendono possibile ogni interazione

Siamo partiti dalla voce e abbiamo creato i migliori modelli del settore per conversazioni naturali; ora il nostro lavoro si estende ai modelli e agli strumenti che rendono possibili tutti i modi in cui le persone interagiscono con la tecnologia.

Sul palco, Staniszewski ha anticipato diversi aggiornamenti che renderanno le interazioni tra sistemi IA, clienti e dipendenti più naturali e adatte al contesto. «La missione di ElevenLabs è risolvere l’interazione tra persone e tecnologia e, per la prima volta, è possibile farlo», ha affermato. 

Ottimizza modelli open source e modelli vocali di ElevenLabs per il tuo dominio

Ogni settore ha il proprio linguaggio e le proprie convenzioni. Il modo in cui servi i clienti e il canale più adatto per quella conversazione variano da un settore all'altro. Per questo ElevenLabs ha lavorato per creare modelli dedicati ai principali settori. I modelli Speech to Text specifici per dominio apprendono i termini effettivamente usati nei settori in cui opera un'azienda, come EBITDA nella finanza o HIPAA nella pubblica amministrazione. ElevenLabs ha usato questo approccio per creare Scribe v3 Medical, un modello di trascrizione per il settore sanitario. È in grado di riconoscere migliaia di termini medici complessi con molta più precisione e di distinguere tra nomi di farmaci come cicloserina e ciclosporina, così un paziente riceve un trattamento contro la tubercolosi, non un immunosoppressore.  

Questo lavoro non rallenterà e, secondo Staniszewski, è in sviluppo un modello ottimizzato per dominio dedicato al settore dei servizi finanziari. Riteniamo però anche che le aziende debbano poter perfezionare i modelli che usano non solo per il proprio settore, ma anche per il proprio contesto e per i propri clienti.   

Durante il keynote, Staniszewski ha annunciato che nei prossimi mesi aiuteremo le aziende a eseguire il fine-tuning di alcuni modelli linguistici open source e dei modelli vocali di ElevenLabs per il proprio utilizzo. «Non risolveremo l’interazione tra persone e IA senza riflettere ciò che rende distintive le persone e le aziende», ha dichiarato.

I team potranno eseguire il fine-tuning dei modelli in base alle specifiche peculiarità che rendono unica la loro azienda. Le aziende potranno portare i propri dati dai deployment in produzione e collaborare con i ricercatori di ElevenLabs per perfezionare i modelli che li supportano. Ogni azienda potrà scegliere le metriche più importanti, come il punteggio di soddisfazione dei clienti (CSAT) o l’affidabilità, e i ricercatori di ElevenLabs ti aiuteranno a usare i dati dei deployment in produzione per eseguire il fine-tuning dei modelli che li supportano. Potrai ottimizzare continuamente in base a ogni nuova interazione; Staniszewski ha paragonato questo approccio a una sorta di stack di reinforcement learning proprietario per ogni azienda.  

«Continueremo a rilasciare altri modelli ottimizzati per dominio per rendere la tua IA più accurata e utile, ma pensiamo anche che le aziende debbano poter andare oltre, con modelli perfezionati non solo per il loro settore, ma anche per la loro azienda e i loro clienti», ha dichiarato Staniszewski. «È uno dei modi migliori per far lavorare i tuoi dati per te ed estendere il tuo vantaggio distintivo.»

Interaction Engine orchestra l’intera conversazione 

Non tutte le attività agentiche richiedono un modello frontier a ogni passaggio per avere successo. Decidere quali modelli usare, come e quando farlo per ottenere un risultato specifico è un’arte a sé, su cui i ricercatori di ElevenLabs stanno lavorando. 

ElevenLabs ha presentato in anteprima un nuovo sistema chiamato Interaction Engine, che parte dal ritmo della conversazione. Gestisce i turni di parola e le interruzioni, così l’agente sa quando intervenire e quando smettere di parlare. Può anche scegliere l’LLM giusto per ogni parte dello scambio. Un modello meno costoso può gestire il triage, mantenendo sotto controllo l’uso dei token, mentre un modello frontier interviene per le attività più complesse quando necessario.

Importanti aggiornamenti per ElevenAgents e altro ancora

ElevenAgents è la piattaforma per configurare, distribuire e migliorare agenti vocali e chat nelle vendite, nell’assistenza, nel recruiting e nelle operazioni. Capisce con chi sta parlando e si adatta alle sue esigenze. 

Clienti e partner come Yahoo, Westgate e KPN stanno già usando ElevenAgents e constatano che gli agenti che comprendono meglio contesto e cultura offrono risultati migliori per tutti.

Staniszewski ha illustrato diversi aggiornamenti in arrivo per ElevenAgents, che renderanno le interazioni tra agenti e clienti più fluide e naturali. 

Memory aiuta ElevenAgents a ricordare i clienti che tornano

Nelle conversazioni con l’assistenza clienti, le persone condividono spesso informazioni preziose che non vengono acquisite né utilizzate. «Uno dei segni distintivi di un’ottima conversazione con una persona è che ricorda ciò che le hai detto e agisce di conseguenza. Gli agenti dovrebbero fare lo stesso», ha dichiarato Staniszewski.

Memory consentirà a un agente ElevenAgents di creare nel tempo un profilo del cliente, riconoscendo un cliente autenticato di ritorno e ricordando ciò che ha detto in precedenza. Sebbene il CRM rimanga l’archivio principale dei clienti, Memory acquisisce i dettagli condivisi durante la conversazione per cui non è mai esistito un campo, come preferenze, vincoli e occasioni imminenti. Se un cliente preferisce lo spagnolo e può parlare solo dopo le 17:00, l’agente lo ricorda e agisce di conseguenza.

Dopo ogni interazione, l’agente sintetizza la conversazione in una scheda strutturata e la aggiorna quando il cliente torna. Conserva anche i dettagli che saranno importanti in seguito. Un abbonato telefonico che ha detto di traslocare a marzo non deve ripeterlo quando chiama ad aprile: l’agente sa automaticamente di chiedere se desidera trasferire il servizio al nuovo indirizzo e disattiva quello vecchio. Il risultato è una conoscenza di ogni cliente che si arricchisce a ogni conversazione, rendendo ogni interazione più personale della precedente.

Routines gestisce il lavoro che ruota attorno alle conversazioni

La maggior parte del lavoro di follow-up di una chiamata all’assistenza clienti avviene dopo la fine della chiamata. Spesso viene svolto da persone e strumenti che non facevano parte della conversazione originale. Routines, il nuovo livello di automazione in ElevenAgents, consentirà agli utenti di eseguire processi in più passaggi prima, durante e dopo ogni conversazione. Si connette agli strumenti e ai sistemi che il tuo team già utilizza. 

Una Routine può effettuare una preselezione di chi richiede un mutuo e richiamarlo entro pochi minuti, oppure ricordare ai pazienti un appuntamento e offrire uno slot resosi disponibile dalla lista d’attesa. Può anche essere configurata per inviare via email un report, scrivere in un CRM o avviare una chiamata, tutto nativamente in ElevenAgents.

Con Routines, ElevenAgents si occupa di una parte maggiore del lavoro che ruota attorno a ogni conversazione, così il tuo team dedica meno tempo alla preparazione e al follow-up e più tempo ai clienti.

ElevenAI aiuta le persone a restare presenti nelle conversazioni importanti

In un’anteprima durante il keynote, Staniszewski ha presentato ElevenAI, una nuova app di ElevenLabs. Funziona come un collega IA per i team aziendali: ascolta le conversazioni parlate, incluse le riunioni in presenza, e le trasforma in note e prossimi passi. Se ElevenAgents è il livello di interazione tra aziende e clienti, ElevenAI sarà quel livello per i dipendenti impegnati nel proprio lavoro. 

ElevenAI offre dettatura e note delle riunioni basate su Scribe v3, il più recente e accurato modello Speech to Text di ElevenLabs. Nelle riunioni, prende appunti con il consenso di tutti, quindi fornisce un riepilogo e le azioni da svolgere per ogni partecipante al termine della chiamata. Può anche offrire assistenza in tempo reale durante una chiamata, condividendo il contesto e migliorando la collaborazione tra persone e agenti. I meccanismi di notifica e consenso sono integrati, così le persone dall’altra parte si sentono a proprio agio.

Man mano che le persone fanno più affidamento sugli agenti personali nella vita quotidiana, avranno bisogno di un supporto sul lavoro pensato per loro in quanto dipendenti. ElevenAI si adatta agli strumenti e ai processi aziendali e accompagna le persone per tutta la giornata lavorativa. Trasmette anche il contesto giusto tra agenti e persone, così possono lavorare insieme come un unico team. L’accesso anticipato gratuito a ElevenAI apre oggi. 

Ampliare l’ecosistema enterprise con l’ElevenLabs Partner Program e l’ElevenLabs Marketplace

La rete di partner di ElevenLabs è cresciuta fino a superare i 550 partner in 44 Paesi, tra cui Google Cloud, IBM, Deloitte, DXC e Genesys. Oggi lanciamo l'ElevenLabs Partner Program per rendere più semplice per le aziende implementare ElevenAgents con le società di consulenza, gli integratori di sistemi, i fornitori di software e le agenzie che conoscono già la loro attività. I partner gestiscono le integrazioni con il tuo stack tecnologico esistente oppure lavorano insieme agli ElevenLabs FDEs su implementazioni complesse, in base a ciò che ti aiuta a ottenere valore più rapidamente.

Nell'ambito del programma, ElevenLabs annuncia anche un'alleanza con McKinsey, che unisce ElevenAgents all'esperienza dell'azienda nella trasformazione delle imprese e a QuantumBlack, AI by McKinsey. Le aziende possono ora sviluppare su ElevenLabs, sviluppare con un partner oppure acquistare da un partner per scalare gli agenti su sistemi complessi.

Inoltre, ElevenLabs e NVIDIA hanno annunciato di espandere la loro partnership. Nemotron 3.5 Super VL è ora disponibile in ElevenAgents e ElevenLabs aggiunge anche 15 MW di nuova capacità di calcolo Vera Rubin. Le due aziende lavoreranno inoltre a un agente vocale on-premises per la piattaforma nazionale polacca di e-Health. L'agente si occuperà della pianificazione degli appuntamenti per i pazienti che dispongono soltanto di telefoni fissi. 

Oggi presentiamo anche l'ElevenLabs Marketplace, una raccolta curata di applicazioni IA e vocali specifiche per settore, create su ElevenLabs dai nostri partner tecnologici per ambiti quali sanità, servizi finanziari, assicurazioni, istruzione e retail. Le aziende possono esplorare agenti e applicazioni e contattare direttamente i partner che li hanno realizzati. A partire dal prossimo anno, le aziende potranno acquistare questi agenti tramite il Marketplace usando il loro impegno ElevenLabs esistente. 

Cosa accade quando l’interazione è risolta

Staniszewski ha concluso il keynote chiedendosi cosa accada quando l’interazione tra persone e IA è risolta. La sua risposta è stata un mondo in cui la tecnologia si adatta alle persone, i limiti di lingua, geografia e scala scompaiono e le sfumature e le culture locali vengono preservate.

«Le persone temono comprensibilmente che l’IA possa centralizzare e omogeneizzare tutto. Che le aziende non riescano a proteggere i propri vantaggi competitivi. Che ogni nuova iterazione dell’IA regredisca verso la media», ha dichiarato Staniszewski. «Noi stiamo creando l’opposto: modelli, prodotti e una community per amplificare ciò che rende unica la tua azienda e aiutarti a estendere il tuo vantaggio.» 

Gli annunci di oggi sono passi verso questo futuro, che ElevenLabs sta creando insieme ai clienti, ai partner e agli sviluppatori che si sono riuniti a New York. Per iniziare, scopri ElevenAgents.