Together AI

Połącz agenta z własnym LLM-em w Together AI.

Omówienie

Together AI oferuje AI Acceleration Cloud, która pozwala błyskawicznie, tanio i na skalę produkcyjną trenować modele AI, dostrajać je i uruchamiać inferencję.

Od razu uruchamiaj ponad 200 modeli, w tym DeepSeek, Llama3, Mixtral i Stable Diffusion, zoptymalizowanych pod kątem opóźnień, przepustowości i długości kontekstu.

Wybór modelu

Aby w pełni wykorzystać ElevenLabs Agents, potrzebujesz modelu obsługującego narzędzia i ustrukturyzowane dane wyjściowe. Together AI obsługuje wywoływanie funkcji w tych modelach:

meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
meta-llama/Llama-3.3-70B-Instruct-Turbo
mistralai/Mixtral-8x7B-Instruct-v0.1
mistralai/Mistral-7B-Instruct-v0.1

Dlatego do agenta ElevenLabs Agents zalecamy co najmniej meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo.

Konfiguracja Llama 3.1 w Together AI

Przejdź do api.together.xyz/settings/api-keys i utwórz nowy klucz API.

Gdy masz już klucz API, możesz go przetestować, uruchamiając poniższe polecenie curl:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'

Przejdź do swojego agenta AI, przewiń do sekcji „Sekrety” i wybierz „Dodaj sekret”. Po dodaniu sekretu kliknij „Zapisz”, aby był dostępny dla agenta.

Wybierz „Własny LLM” z menu rozwijanego.

W polu URL serwera podaj punkt końcowy API Together AI zgodny z OpenAI: https://api.together.xyz/v1. W polu ID modelu podaj omówiony wyżej meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo, a następnie wybierz swój klucz API z menu rozwijanego.

Teraz możesz kliknąć „Testuj agenta AI”, aby porozmawiać z własnym modelem Llama 3.1.