Parla con DeepSeek R1 grazie all’IA Conversazionale di ElevenLabs

Ultimamente tutti parlano di DeepSeek, ma nessuno si è fermato a chiedersi: come suonerebbe DeepSeek se potesse parlare? Qui entra in gioco l'IA conversazionale di ElevenLabs per rendere possibile parlare con DeepSeek R1.

L'IA conversazionale di ElevenLabs è una piattaforma per distribuire agenti vocali conversazionali personalizzati e in tempo reale. Uno dei principali vantaggi della piattaforma è la sua flessibilità: puoi collegare LLM diversi in base alle tue esigenze. 

L'opzione LLM personalizzato funziona con qualsiasi provider di API compatibile con OpenAI, purché il modello supporti l'uso degli strumenti/function calling. Nella nostra documentazione trovi guide per GroqCloud, Together AI e Cloudflare. Per la demo seguente usiamo Cloudflare.

Utilizziamo il modello DeepSeek-R1-Distill-Qwen-32B, un modello distillato da DeepSeek-R1 e basato su Qwen2.5. Supera OpenAI-o1-mini in diversi benchmark, ottenendo nuovi risultati all'avanguardia per i modelli densi. 

Il motivo principale per cui utilizziamo la versione distillata è che le versioni pure non funzionano ancora in modo affidabile con il function calling. In effetti, il modello di ragionamento R1 non supporta ancora affatto il function calling. Puoi seguire questa issue per rimanere aggiornato sui progressi.

Inizia con l'IA conversazionale di ElevenLabs

Il processo per connettere un LLM personalizzato è piuttosto semplice e inizia creando un agente. Per questo progetto useremo il template Math Tutor. Se vuoi soltanto sentire come parla DeepSeek, abbiamo una demo dell'agente che puoi provare in prima persona.

Per iniziare, vai alla pagina dell'app IA conversazionale di ElevenLabs e crea un nuovo agente IA chiamato “DeepSeeker”. Seleziona il template Math Tutor, poiché è un caso d'uso in cui il ragionamento di DeepSeek può dare il meglio, quindi seleziona “Crea agente”.

Il template di matematica include un system prompt che assicura che numeri ed equazioni vengano letti ad alta voce in linguaggio naturale, anziché nella forma in cui sono scritti dall'LLM. Ad esempio, gli diciamo di scrivere “Alfa per x al quadrato uguale a 4” se la risposta dell'LLM è “ax^2=4”. 

In genere i modelli di ragionamento spiegano la loro “catena di pensiero”, ma possiamo anche ampliare il system prompt per assicurarci ulteriormente di ottenere una buona lezione di matematica, ad esempio specificando che fornisca il ragionamento della soluzione passo dopo passo. Puoi mantenerlo generico oppure ampliare il prompt includendo esempi specifici a cui possa fare riferimento.

Tuttavia, se vuoi davvero farti un'idea della personalità di DeepSeek R1, puoi invece creare un template vuoto, chiedere all'agente di presentarsi come DeepSeek AI e impostare il system prompt affinché risponda a una serie di domande su argomenti diversi. 

Configura DeepSeek R1 con Cloudflare Workers AI

Ora dobbiamo ottenere un endpoint per una versione di DeepSeek R1 da usare con il nostro agente. In questo esempio useremo Cloudflare, che fornisce DeepSeek-R1-Distill-Qwen-32B sulla sua piattaforma Workers AI a scopo di valutazione, ma puoi considerare anche altri servizi che forniscono modelli, come fireworks.ai, GroqCloud e  together.ai

Per prima cosa, vai su dash.cloudflare.com e crea un account oppure accedi al tuo. Nella navigazione, seleziona AI > Workers AI, poi fai clic sul widget “Use REST API”.

Per ottenere una chiave API, fai clic su “Create a Workers AI API Token” e assicurati di conservarla in modo sicuro.

Una volta ottenuta la chiave API, puoi provarla subito con una richiesta curl. Cloudflare fornisce un endpoint API compatibile con OpenAI, rendendo l'operazione molto pratica. A questo punto, annota il modello e l'endpoint completo, incluso l'ID dell'account.

Ad esempio: https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}c/ai/v1/

curl https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/v1/chat/completions \
  -X POST \
  -H "Authorization: Bearer {API_TOKEN}" \
  -d '{
     "model": "@cf/deepseek-ai/deepseek-r1-distill-qwen-32b",
     "messages": [
       {"role": "system", "content": "You are a helpful assistant."},
       {"role": "user", "content": "How many Rs in the word Strawberry?"}
     ],
     "stream": false
   }'

Configura il tuo LLM personalizzato in ElevenLabs

Il passaggio successivo consiste nell'aggiungere questi dettagli al tuo agente in ElevenLabs. Per prima cosa, vai al tuo agente IA DeepSeeker nell'app di ElevenLabs e, in fondo alla pagina, aggiungi la chiave API che hai appena creato come segreto. Assegnale un nome come CLOUDFLARE_AUTH_TOKEN, poi salva le modifiche.

Successivamente, nella sezione LLM, seleziona l'opzione LLM personalizzato e inserisci l'endpoint API compatibile con OpenAI di Cloudflare Workers AI: https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/v1

Assicurati di sostituire “{ACCOUNT_ID}” nell'URL con l'ID del tuo account visualizzato in Cloudflare.

Aggiungi l'ID del modello: @cf/deepseek-ai/deepseek-r1-distill-qwen-32b

Infine, seleziona il segreto che hai appena creato.

Provalo

Perfetto, ora che è tutto configurato, fai clic su “Test AI agent” e provalo con il seguente problema di matematica:

“Due treni si incrociano viaggiando verso est e ovest, uno a 65 mph e l'altro a 85 mph. Quanto tempo ci vorrà prima che si trovino a 330 miglia di distanza?”

Nota: se non hai configurato un metodo di pagamento, l'API di Cloudflare Workers AI sarà limitata e potresti riscontrare tempi di risposta più lunghi. Assicurati di configurare il tuo account di fatturazione prima di passare alla produzione. Questo potrebbe non essere un problema con altre piattaforme che forniscono modelli.

Conclusione

Creando agenti IA conversazionali in tempo reale con la piattaforma IA conversazionale di ElevenLabs, puoi reagire rapidamente al rilascio di nuovi modelli collegando LLM personalizzati tramite qualsiasi provider di API compatibile con OpenAI.

Purché il modello che vuoi usare sia compatibile con OpenAI e supporti il function calling, puoi integrarlo con un agente vocale in tempo reale. Può trattarsi anche di modelli su cui hai eseguito il fine-tuning con dataset personalizzati. Puoi inoltre usare qualsiasi voce disponibile nella Voice Library di ElevenLabs o la tua voce, se hai creato un clone della tua voce.