Prata med DeepSeek R1 med ElevenLabs Conversational AI

Alla har pratat om DeepSeek på sistone, men ingen har stannat upp för att fråga: hur skulle DeepSeek låta om det kunde prata? Här kan vi använda ElevenLabs Conversational AI för att göra det möjligt att prata med DeepSeek R1.

ElevenLabs Conversational AI är en plattform för att driftsätta anpassade röstbaserade konversationsagenter i realtid, röstagent. En stor fördel med plattformen är dess flexibilitet, som låter dig koppla in olika LLM:er utifrån dina behov. 

Alternativet Custom LLM fungerar med alla OpenAI-kompatibla API-leverantörer, så länge modellen stöder verktygsanvändning/funktionsanrop. I vår dokumentation finns guider för GroqCloud, Together AI och Cloudflare. I följande demo använder vi Cloudflare.

Vi använder modellen DeepSeek-R1-Distill-Qwen-32B, som är en modell destillerad från DeepSeek-R1 och baserad på Qwen2.5. Den presterar bättre än OpenAI-o1-mini i flera olika benchmarktester och når nya toppresultat för täta modeller. 

Vi använder främst den destillerade versionen eftersom de rena versionerna ännu inte fungerar tillförlitligt med funktionsanrop. Faktum är att resonemangsmodellen R1 ännu inte stöder funktionsanrop alls! Du kan följa det här ärendet för att hålla dig uppdaterad om utvecklingen.

Kom igång med ElevenLabs Conversational AI

Det är ganska enkelt att ansluta en anpassad LLM och det börjar med att skapa en agent. I det här projektet använder vi mallen Math Tutor. Om du bara vill höra hur DeepSeek låter har vi en demo av agenten som du kan prova själv.

Börja med att gå till appsidan för ElevenLabs Conversational AI och skapa en ny AI-agent med namnet “DeepSeeker”. Välj mallen Math Tutor, eftersom DeepSeeks resonemang kan komma till sin rätt i detta användningsfall, och välj “Create Agent”.

Matematikmallen innehåller en systemprompt som ser till att den läser upp siffror och ekvationer på naturligt språk i stället för så som de skrivs av LLM:en. Vi säger till exempel åt den att skriva "Alfa gånger x i kvadrat är lika med 4" om svaret från LLM:en är "ax^2=4". 

Resonemangsmodeller förklarar vanligtvis sin “tankekedja”, men vi kan också utöka systemprompten för att vara extra säkra på att få en bra matematikgenomgång, till exempel genom att ange att den ska redogöra steg för steg för lösningen. Du kan hålla det allmänt eller utöka prompten med specifika exempel som den kan utgå från.

Men om du verkligen vill få en känsla för DeepSeek R1:s personlighet kan du i stället skapa en tom mall där agenten presenterar sig som DeepSeek AI, och ange i systemprompten att den ska besvara frågor om olika ämnen. 

Konfigurera DeepSeek R1 med Cloudflare Workers AI

Nästa steg är att skaffa en slutpunkt för en version av DeepSeek R1 som vi kan använda med vår agent. I det här exemplet använder vi Cloudflare, som erbjuder DeepSeek-R1-Distill-Qwen-32B på sin Workers AI-plattform för utvärderingsändamål, men du kan även överväga andra värdalternativ som fireworks.ai, GroqCloud och together.ai

Gå först till dash.cloudflare.com och skapa ett konto eller logga in på ditt konto. Välj AI > Workers AI i navigeringen och klicka sedan på widgeten “Use REST API”.

För att få en API-nyckel klickar du på “Create a Workers AI API Token” och ser till att lagra den säkert.

När du har din API-nyckel kan du testa den direkt med en curl-begäran. Cloudflare erbjuder en OpenAI-kompatibel API-slutpunkt, vilket gör detta väldigt smidigt. Notera nu modellen och hela slutpunkten — inklusive konto-ID:t.

Till exempel: https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}c/ai/v1/

curl https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/v1/chat/completions \
  -X POST \
  -H "Authorization: Bearer {API_TOKEN}" \
  -d '{
     "model": "@cf/deepseek-ai/deepseek-r1-distill-qwen-32b",
     "messages": [
       {"role": "system", "content": "You are a helpful assistant."},
       {"role": "user", "content": "How many Rs in the word Strawberry?"}
     ],
     "stream": false
   }'

Konfigurera din anpassade LLM i ElevenLabs

Nästa steg är att lägga till dessa uppgifter i din agent i ElevenLabs. Gå först till din DeepSeeker AI-agent i ElevenLabs-appen och lägg längst ned till din nyligen skapade API-nyckel som en hemlighet. Ge den ett namn som CLOUDFLARE_AUTH_TOKEN och spara sedan ändringarna.

Välj sedan alternativet Custom LLM under LLM och ange Cloudflare Workers AI:s OpenAI-kompatibla API-slutpunkt: https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/v1

Se till att ersätta “{ACCOUNT_ID}” i URL:en med konto-ID:t som visas i Cloudflare.

Lägg till modell-ID:t: @cf/deepseek-ai/deepseek-r1-distill-qwen-32b

Välj slutligen hemligheten som du nyss skapade.

Testa

Bra, nu när allt är konfigurerat klickar vi på “Test AI agent” och testar det med följande matematikproblem:

“Två tåg passerar varandra österut/västerut med hastigheterna 65 mph respektive 85 mph. Hur lång tid tar det innan de är 330 miles från varandra?”

Obs: Om du inte har lagt till en betalningsmetod begränsas Cloudflare Workers AI API och du kan få längre svarstider. Se till att konfigurera ditt faktureringskonto innan du går till produktion. Detta kanske inte är ett problem med andra värdplattformar.

Slutsats

Genom att bygga röstbaserade konversationsbaserade AI-agenter i realtid med plattformen ElevenLabs Conversational AI kan du snabbt reagera när nya modeller släpps, eftersom du kan koppla in anpassade LLM:er via valfri OpenAI-kompatibel API-leverantör.

Så länge modellen du vill använda är OpenAI-kompatibel och stöder funktionsanrop kan du integrera den med en röstagent i realtid, röstagent. Det kan även omfatta modeller som du har finjusterat med anpassade dataset. Du kan också använda vilken röst som helst i ElevenLabs bibliotek — eller din egen röst om du har skapat en klon av din egen röst.