Together AI

Together AI上のカスタムLLMにエージェントを接続します。

概要

Together AIはAIアクセラレーションクラウドを提供しており、AIモデルのトレーニング、微調整、推論を高速かつ低コストで、本番環境のスケールで実行できます。

DeepSeek、Llama3、Mixtral、Stable Diffusionを含む200以上のモデルを、レイテンシー、スループット、コンテキスト長を最適化した状態で、すぐに実行できます。

モデルの選択

ElevenLabs Agentsの機能を最大限に活用するには、ツール使用と構造化出力をサポートするモデルを使用する必要があります。Together AIは、以下のモデルで関数呼び出しをサポートしています。

meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo
meta-llama/Llama-3.3-70B-Instruct-Turbo
mistralai/Mixtral-8x7B-Instruct-v0.1
mistralai/Mistral-7B-Instruct-v0.1

そのため、ElevenLabs Agentsのエージェントには少なくともmeta-llama/Meta-Llama-3.1-70B-Instruct-Turboを使用することをおすすめします。

Together AIでLlama 3.1をセットアップする

api.together.xyz/settings/api-keysに移動し、新しいAPIキーを作成します。

APIキーを取得したら、以下のcurlコマンドを実行してテストできます。

curl https://api.together.xyz/v1/chat/completions -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <API_KEY>" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [{
    "role": "user",
    "content": "Hello, how are you?"
}]
}'

AIエージェントに移動し、「Secrets」セクションまでスクロールして「Add Secret」を選択します。シークレットを追加したら、必ず「Save」をクリックしてエージェントで使用できるようにしてください。

ドロップダウンメニューから「Custom LLM」を選択します。

Server URLには、Together AIのOpenAI互換APIエンドポイントであるhttps://api.together.xyz/v1を指定します。Model IDには、前述のmeta-llama/Meta-Llama-3.1-70B-Instruct-Turboを指定し、ドロップダウンメニューからAPIキーを選択します。

これで「Test AI Agent」をクリックすると、カスタムLlama 3.1モデルとチャットできます。