Prata med DeepSeek R1 med ElevenLabs Conversational AI

Alla har pratat om DeepSeek på sistone, men ingen har stannat upp och frågat: hur skulle DeepSeek låta om det kunde prata? Här kan vi använda ElevenLabs Conversational AI för att göra det möjligt att prata med DeepSeek R1.

ElevenLabs Conversational AI är en plattform för att driftsätta anpassade röstagenter för konversationer i realtid. En stor fördel med plattformen är dess flexibilitet: du kan koppla in olika LLM:er utifrån dina behov. 

Alternativet Custom LLM fungerar med alla OpenAI-kompatibla API-leverantörer, så länge modellen stöder verktygsanvändning/funktionsanrop. I vår dokumentation hittar du guider för GroqCloud, Together AI, och Cloudflare. I följande demo använder vi Cloudflare.

Vi använder modellen DeepSeek-R1-Distill-Qwen-32B, som är en modell destillerad från DeepSeek-R1 och bygger på Qwen2.5. Den överträffar OpenAI-o1-mini i olika riktmärken och uppnår nya toppresultat för täta modeller. 

Vi använder främst den destillerade versionen eftersom de rena versionerna ännu inte fungerar tillförlitligt med funktionsanrop. Faktum är att resonemangsmodellen R1 ännu inte stöder funktionsanrop alls! Du kan följa det här ärendet för att hålla dig uppdaterad om deras framsteg.

Kom igång med ElevenLabs Conversational AI

Det är ganska enkelt att ansluta en anpassad LLM och det börjar med att skapa en agent. I det här projektet använder vi mallen Math Tutor. Om du bara vill höra hur DeepSeek låter har vi en demo av agenten som du kan prova själv.

Börja med att gå till appsidan för ElevenLabs Conversational AI och skapa en ny AI-agent med namnet “DeepSeeker”. Välj mallen Math Tutor, eftersom DeepSeeks resonemang kan komma till sin rätt i det här användningsfallet, och välj “Create Agent”.

Matematikmallen innehåller en systemprompt som ser till att den läser upp siffror och ekvationer på naturligt språk, i stället för som de skrivs av LLM:en. Vi säger till exempel åt den att skriva "Alfa gånger x i kvadrat är lika med 4" om svaret från LLM:en är "ax^2=4". 

Resonemangsmodeller förklarar vanligtvis sin “tankekedja”, men vi kan också utöka systemprompten för att vara extra säkra på att få en bra matematikgenomgång, till exempel genom att ange att den ska redovisa lösningen steg för steg. Du kan hålla detta allmänt eller utöka prompten med specifika exempel som den kan utgå från.

Men om du verkligen vill få en känsla för DeepSeek R1:s personlighet kan du i stället skapa en tom mall där agenten presenterar sig som DeepSeek AI och ange i systemprompten att den ska svara på frågor inom olika ämnen. 

Konfigurera DeepSeek R1 med Cloudflare Workers AI

Nu behöver vi en endpoint för en version av DeepSeek R1 som vi kan använda med vår agent. I det här exemplet använder vi Cloudflare, som erbjuder DeepSeek-R1-Distill-Qwen-32B på sin Workers AI-plattform för utvärderingsändamål, men du kan även överväga andra hostingalternativ som fireworks.ai, GroqCloud, och  together.ai

Gå först till dash.cloudflare.com och skapa ett konto eller logga in på ditt konto. I navigeringen väljer du AI > Workers AI och klickar sedan på widgeten “Use REST API”.

För att få en API-nyckel klickar du på “Create a Workers AI API Token” och ser till att lagra den säkert.

När du har din API-nyckel kan du testa den direkt med en curl-förfrågan. Cloudflare erbjuder en OpenAI-kompatibel API-endpoint, vilket gör det väldigt smidigt. Anteckna nu modellen och hela endpointen — inklusive konto-ID:t.

Till exempel: https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}c/ai/v1/

curl https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/v1/chat/completions \
  -X POST \
  -H "Authorization: Bearer {API_TOKEN}" \
  -d '{
     "model": "@cf/deepseek-ai/deepseek-r1-distill-qwen-32b",
     "messages": [
       {"role": "system", "content": "You are a helpful assistant."},
       {"role": "user", "content": "How many Rs in the word Strawberry?"}
     ],
     "stream": false
   }'

Konfigurera din anpassade LLM i ElevenLabs

Nästa steg är att lägga till de här uppgifterna i din agent i ElevenLabs. Gå först till din DeepSeeker AI-agent i ElevenLabs-appen och lägg längst ned till din nyss skapade API-nyckel som en hemlighet. Ge den ett namn som CLOUDFLARE_AUTH_TOKEN och spara sedan ändringarna.

Välj sedan alternativet Custom LLM under LLM och ange Cloudflare Workers AI:s OpenAI-kompatibla API-endpoint: https://api.cloudflare.com/client/v4/accounts/{ACCOUNT_ID}/ai/v1

Se till att ersätta “{ACCOUNT_ID}” i URL:en med konto-ID:t som visas i Cloudflare.

Lägg till modell-ID:t: @cf/deepseek-ai/deepseek-r1-distill-qwen-32b

Välj slutligen hemligheten som du nyss skapade.

Testa

Bra, nu när allt är konfigurerat klickar vi på “Test AI agent” och testar med följande matematikproblem:

“Två tåg passerar varandra i östlig/västlig riktning med hastigheterna 65 mph respektive 85 mph. Hur lång tid tar det innan de är 330 miles från varandra?”

Obs: Om du inte har konfigurerat en betalningsmetod begränsas Cloudflare Workers AI API och du kan få längre svarstider. Se till att konfigurera ditt faktureringskonto innan du går över till produktion. Andra hostingplattformar kanske inte har samma problem.

Slutsats

Genom att bygga röstbaserade AI-agenter för konversationer i realtid med plattformen ElevenLabs Conversational AI kan du snabbt reagera när nya modeller lanseras genom att koppla in anpassade LLM:er via valfri OpenAI-kompatibel API-leverantör.

Så länge modellen du vill använda är OpenAI-kompatibel och stöder funktionsanrop kan du integrera den med en röstagent i realtid. Det kan även vara modeller som du har finjusterat på anpassade dataset. Du kan också använda valfri röst från ElevenLabs bibliotek — eller din egen röst om du har röstagent. Det kan även vara modeller som du har finjusterat på anpassade dataset. Du kan också använda valfri röst från ElevenLabs bibliotek — eller din egen röst om du har skapat en klon av din egen röst.