Together AI

Together AI पर किसी एजेंट को कस्टम LLM से कनेक्ट करें।

परिचय

Together AI एक AI एक्सेलरेशन क्लाउड देता है, जिससे आप AI मॉडल्स को बेहद तेज़ी से, कम लागत में और प्रोडक्शन स्केल पर ट्रेन, फाइन-ट्यून और इनफ़रेंस के लिए चला सकते हैं।

DeepSeek, Llama3, Mixtral और Stable Diffusion समेत 200+ मॉडल्स तुरंत चलाएं, जो बेहतरीन लेटेंसी, थ्रूपुट और कॉन्टेक्स्ट लेंथ के लिए ऑप्टिमाइज़ किए गए हैं।

मॉडल चुनना

ElevenLabs Agents की पूरी क्षमता का इस्तेमाल करने के लिए, आपको ऐसा मॉडल इस्तेमाल करना होगा जो टूल यूज़ और स्ट्रक्चर्ड आउटपुट को सपोर्ट करता हो। Together AI इन मॉडलों के लिए फ़ंक्शन कॉलिंग सपोर्ट करता है:

  • meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
  • meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
  • meta-llama/Llama-3.3-70B-Instruct-Turbo
  • mistralai/Mixtral-8x7B-Instruct-v0.1
  • mistralai/Mistral-7B-Instruct-v0.1

इसे ध्यान में रखते हुए, आपके ElevenLabs Agents एजेंट के लिए कम से कम meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo इस्तेमाल करने की सलाह दी जाती है।

Together AI पर Llama 3.1 सेट अप करें

1

api.together.xyz/settings/api-keys पर जाएं और नई API कुंजी बनाएं।

सीक्रेट जोड़ें

2

API कुंजी मिलने के बाद, आप नीचे दिया गया curl कमांड चलाकर इसे टेस्ट कर सकते हैं:

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
"role": "user",
"content": "Hello, how are you?"
}]
}'
3

अपने AI Agent पर जाएं, नीचे स्क्रॉल करके “Secrets” सेक्शन में जाएं और “Add Secret” चुनें। सीक्रेट जोड़ने के बाद, इसे अपने एजेंट के लिए उपलब्ध कराने हेतु “Save” पर ज़रूर क्लिक करें।

सीक्रेट जोड़ें

4

ड्रॉपडाउन मेनू से “Custom LLM” चुनें।

कस्टम llm चुनें

5

Server URL के लिए Together AI का OpenAI-संगत API एंडपॉइंट बताएं: https://api.together.xyz/v1। Model ID के लिए, ऊपर बताए अनुसार meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo बताएं और ड्रॉपडाउन मेनू से अपनी API कुंजी चुनें।

url दर्ज करें

6

अब अपने कस्टम Llama 3.1 मॉडल के साथ चैट करने के लिए “Test AI Agent” पर क्लिक करें।