Vai alla navigazione
AvanzateModelli personalizzati

Together AI

Collega un agente a un LLM personalizzato su Together AI.

Panoramica

Together AI offre un cloud di accelerazione IA che ti consente di addestrare, eseguire il fine-tuning e l’inferenza su modelli IA in modo ultrarapido, a basso costo e su scala di produzione.

Esegui subito oltre 200 modelli, tra cui DeepSeek, Llama3, Mixtral e Stable Diffusion, ottimizzati per latenza, throughput e lunghezza del contesto ai massimi livelli.

Scegliere un modello

Per sfruttare appieno ElevenLabs Agents, devi usare un modello che supporti l’uso di strumenti e output strutturati. Together AI supporta il function calling per questi modelli:

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

Per questo motivo, per il tuo agente ElevenLabs Agents ti consigliamo di usare almeno meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo.

Configurare Llama 3.1 su Together AI

1

Vai a api.together.xyz/settings/api-keys e crea una nuova chiave API.

Aggiungi secret

2

Una volta ottenuta la chiave API, puoi testarla eseguendo il seguente comando curl:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'
3

Vai al tuo agente IA, scorri fino alla sezione “Secrets” e seleziona “Add Secret”. Dopo aver aggiunto il secret, assicurati di selezionare “Save” per renderlo disponibile al tuo agente.

Aggiungi secret

4

Scegli “Custom LLM” dal menu a discesa.

Scegli LLM personalizzato

5

Per l’URL del server, specifica l’endpoint API compatibile con OpenAI di Together AI: https://api.together.xyz/v1. Per l’ID del modello, specifica meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo come indicato sopra e seleziona la tua chiave API dal menu a discesa.

Inserisci URL

6

Ora puoi fare clic su “Test AI Agent” per chattare con il tuo modello Llama 3.1 personalizzato.