ErweitertBenutzerdefinierte Modelle

Together AI

Verbinden Sie einen Agenten mit einem benutzerdefinierten LLM auf Together AI.

Überblick

Together AI bietet eine KI-Accelerator-Cloud, mit der Sie KI-Modelle extrem schnell, kostengünstig und im Produktionsmaßstab trainieren, finetunen und für Inferenz ausführen können.

Führen Sie sofort über 200 Modelle aus, darunter DeepSeek, Llama3, Mixtral und Stable Diffusion. Sie sind für maximale Latenz, maximalen Durchsatz und Kontextlänge optimiert.

Modell auswählen

Um die volle Leistung von ElevenLabs Agents zu nutzen, benötigen Sie ein Modell, das Tool-Nutzung und strukturierte Ausgaben unterstützt. Together AI unterstützt Function Calling für diese Modelle:

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

Daher empfehlen wir für Ihren ElevenLabs-Agents-Agenten mindestens meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo.

Llama 3.1 auf Together AI einrichten

1

Rufen Sie api.together.xyz/settings/api-keys auf und erstellen Sie einen neuen API-Schlüssel.

Secret hinzufügen

2

Sobald Sie Ihren API-Schlüssel haben, können Sie ihn mit folgendem curl-Befehl testen:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Rufen Sie Ihren KI-Agenten auf, scrollen Sie zum Bereich „Secrets“ und wählen Sie „Add Secret“ aus. Klicken Sie nach dem Hinzufügen des Secrets unbedingt auf „Save“, damit es für Ihren Agenten verfügbar ist.

Secret hinzufügen

4

Wählen Sie „Custom LLM“ im Dropdown-Menü aus.

Benutzerdefiniertes LLM auswählen

5

Geben Sie als Server-URL den OpenAI-kompatiblen API-Endpunkt von Together AI an: https://api.together.xyz/v1. Geben Sie als Modell-ID wie oben beschrieben meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo an und wählen Sie Ihren API-Schlüssel im Dropdown-Menü aus.

URL eingeben

6

Klicken Sie jetzt auf „Test AI Agent“, um mit Ihrem benutzerdefinierten Llama-3.1-Modell zu chatten.