Skip to navigation
GeavanceerdAangepaste modellen

Together AI

Verbind een agent met een aangepaste LLM op Together AI.

Overzicht

Together AI biedt een AI Acceleration Cloud, waarmee je AI-modellen razendsnel, tegen lage kosten en op productieschaal kunt trainen, finetunen en inference kunt uitvoeren.

Voer direct meer dan 200 modellen uit, waaronder DeepSeek, Llama3, Mixtral en Stable Diffusion, geoptimaliseerd voor optimale latency, throughput en contextlengte.

Een model kiezen

Om optimaal gebruik te maken van ElevenLabs Agents, moet je een model gebruiken dat toolgebruik en gestructureerde outputs ondersteunt. Together AI ondersteunt function calling voor deze modellen:

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

Daarom raden we aan om voor je ElevenLabs Agents-agent minimaal meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo te gebruiken.

Llama 3.1 instellen op Together AI

1

Ga naar api.together.xyz/settings/api-keys en maak een nieuwe API-sleutel.

Secret toevoegen

2

Zodra je je API-sleutel hebt, kun je deze testen door de volgende curl-opdracht uit te voeren:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Ga naar je AI-agent, scrol omlaag naar de sectie “Secrets” en selecteer “Add Secret”. Nadat je het secret hebt toegevoegd, klik je op “Save” om het secret beschikbaar te maken voor je agent.

Secret toevoegen

4

Kies “Custom LLM” in het dropdownmenu.

Aangepaste LLM kiezen

5

Geef voor de Server URL het OpenAI-compatibele API-endpoint van Together AI op: https://api.together.xyz/v1. Geef voor de Model ID, zoals hierboven besproken, meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo op en selecteer je API-sleutel in het dropdownmenu.

URL invoeren

6

Klik nu op “Test AI Agent” om te chatten met je aangepaste Llama 3.1-model.