Modeller

ElevenAgents erbjuder ett enhetligt gränssnitt för att ansluta din agent till flera modeller och leverantörer, med flexibilitet, tillförlitlighet och kostnadsoptimering.

I stället för att välja en modell här kan röstagenter använda en realtidsmodell, en ElevenLabs-modell utvecklad för röstsamtal med låg latens.

Viktiga funktioner

• Enhetlig åtkomst: Växla mellan leverantörer och modeller med minimala kodändringar
• Hög tillförlitlighet: Växla automatiskt från en leverantör till en annan om en misslyckas
• Kostnadsövervakning: Övervaka dina kostnader för olika modeller

Modeller som stöds

För närvarande stöds följande modeller direkt och kan konfigureras via agentinställningarna:

Anpassad LLM

Du kan använda din egen anpassade LLM genom att ange den endpoint som vi ska skicka förfrågningar till och tillhandahålla autentiseringsuppgifter via vår säkra hemlighetslagring. Läs mer om integration av anpassad LLM.

Välja en modell

När du väljer den lämpligaste LLM:en för din applikation behöver du ta hänsyn till flera faktorer:

• Uppgiftens komplexitet: Utvärdera modeller mot representativa uppgifter från din applikation
• Latenskrav: För röstsamtal i realtid väljer du en modell med låg latens och mäter svarstiden med dina promptar och verktyg
• Kontextfönstrets storlek: Om din applikation behöver bearbeta, förstå eller komma ihåg information från långa samtal eller omfattande dokument väljer du modeller med större kontextfönster
• Kostnadseffektivitet: Balansera önskad prestanda och funktioner mot din budget. LLM-priser kan variera mycket, så analysera prisstrukturen (inmatnings-, utmatnings- och cachetoken) i förhållande till dina förväntade användningsmönster
• HIPAA-efterlevnad: Om din applikation hanterar skyddad hälsoinformation (PHI) är det avgörande att använda en LLM som är HIPAA-kompatibel och säkerställa att hela din datahanteringsprocess uppfyller regulatoriska krav

Modellkonfiguration

Temperatur

Temperatur styr slumpmässigheten i modellsvar. Lägre värden ger mer konsekventa, fokuserade resultat medan högre värden ökar kreativiteten och variationen.

• Låg (0.0-0.3): Deterministiska, konsekventa svar för strukturerade interaktioner
• Medel (0.4-0.7): Balanserad kreativitet och konsekvens
• Hög (0.8-1.0): Kreativa, varierade svar för dynamiska samtal

Konfiguration av reserv-LLM

Konfigurera reserv-LLM:er för att säkerställa kontinuitet i samtal när den primära LLM:en misslyckas eller blir otillgänglig.

Konfigurationsalternativ:

• Standard: Använder ElevenLabs rekommenderade reservsekvens
• Anpassad: Definiera din egen kaskadsekvens av reservmodeller
• Inaktiverad: Ingen reservlösning (avråds starkt i produktion)

Läs mer om LLM-kaskadkoppling.

Resonemang

Resonemang hjälper agenter att hantera komplexa beslut, till exempel att välja mellan verktyg, tillämpa policyer eller slutföra arbetsflöden i flera steg. Beroende på modell styr du hur mycket resonemang den utför med antingen en tankebudget eller en nivå för resonemangsinsats.

Tankebudget

Ange det maximala antalet resonemangstoken med det numeriska reglaget. Större budgetar kan öka svarstiden. Sätt budgeten till 0 för att inaktivera tänkande när modellen tillåter det.

Resonemangsinsats

Resonemangsinsats styr hur mycket resonemang modellen utför innan den svarar. Tillgängliga nivåer beror på den valda modellen.

Sammanfattning av resonemang

Aktivera sammanfattning av resonemang för att fånga modellens returnerade resonemang vid felsökning av svar, verktygsanrop eller arbetsflödessökvägar. Aktivera Sammanfattning av resonemang i agentens LLM-inställningar eller ange enable_reasoning_summary via API:et. Inställningen är inaktiverad som standard.

För anpassade endpoints, se hur ElevenLabs begär och lagrar resonemang.

Resonemangsinnehåll omfattas av inställningar för lagringstid och maskering av personuppgifter. Du kan komma åt det via följande kanaler:

Begränsningar

• Att begära en sammanfattning av resonemang kan öka svarslatensen. Testa detta innan du aktiverar det för röstagenter som är känsliga för latens.
• Leverantörer kan returnera en sammanfattning, tanketext, råa resonemangsdelta eller inget innehåll som kan visas.

Förstå prissättning

• Token: LLM-användning debiteras vanligtvis utifrån antalet bearbetade token. Som en generell riktlinje för engelsk text motsvarar 100 token ungefär 75 ord
• Prissättning för inmatning respektive utmatning: Leverantörer skiljer ofta på priser för inmatningstoken (data som du skickar till modellen) och utmatningstoken (data som modellen genererar som svar)
• Cacheprissättning:
  • input_cache_read: Detta avser kostnaden för att hämta tidigare bearbetad indata från en cache. Att använda cachad data kan spara kostnader om identiska indata bearbetas flera gånger
  • input_cache_write: Detta är kostnaden för att lagra indata i en cache. Vissa LLM-leverantörer kan debitera för denna åtgärd
• Priserna i det här dokumentet gäller per 1 miljon token och baseras på information som var tillgänglig när dokumentet skrevs. Dessa priser kan ändras av LLM-leverantörerna
• Vidaredebitering: ElevenLabs vidaredebiterar kostnader för tredjeparts-LLM:er enligt leverantörens publicerade pris, utan påslag. Utvalda Gemini- och Claude-modeller följer Vertex AI:s regionala prissättning (inte globala), som används för trafik i USA och EU — en ökning på 10 % för inmatnings-, utmatnings- och cachetoken, i enlighet med Vertex regionala priser

Se leverantörens dokumentation för aktuella modellfunktioner, priser och användarvillkor.

HIPAA-efterlevnad

Vissa LLM:er som finns tillgängliga på vår plattform kan vara lämpliga för användning i miljöer som kräver HIPAA-efterlevnad. Läs dokumentationen om HIPAA-efterlevnad för mer information.

Relaterade resurser

• Integration av anpassad LLM
• LLM-kaskadkoppling
• Optimera kostnader

Modeller som hostas av ElevenLabs

ElevenLabs erbjuder åtkomst till en mängd olika AI-modeller, inklusive utvalda tredjepartsmodeller som hostas av ElevenLabs.

När en modell betecknas som ”Hostas av ElevenLabs” distribueras och drivs modellen på infrastruktur som hanteras av ElevenLabs. Dessa modeller hostas för närvarande i USA eller i regionen för din företagsdistribution.

Så identifierar du modeller som hostas av ElevenLabs

Modeller som hostas av ElevenLabs är tydligt märkta i ElevenLabs gränssnitt. Leta efter beteckningen ”Hostas av ElevenLabs” när du bläddrar bland eller väljer modeller.

Så hanteras dina data

För modeller som hostas av ElevenLabs behandlas förfrågningar inom infrastruktur som hanteras av ElevenLabs. Det innebär att den ursprungliga modellleverantören inte tar emot, får åtkomst till eller behandlar inmatningar och utmatningar som skickas via ElevenLabs.

Genom att hosta dessa modeller kan ElevenLabs erbjuda en konsekvent upplevelse och samtidigt behålla kontrollen över infrastrukturen som används för att hantera modellförfrågningar.

Vanliga frågor

Var hostas självhostade modeller?

Modeller som hostas av ElevenLabs körs för närvarande på infrastruktur i USA eller i regionen för din företagsdistribution.

Får den ursprungliga modellleverantören åtkomst till mina data eller metadata om min användning?

För modeller som hostas av ElevenLabs får modellens ursprungliga utvecklare aldrig dina inmatningar eller utmatningar och har ingen åtkomst till data om distributionen som behandlar dem.

Hur vet jag om en modell hostas av ElevenLabs?

Modeller som hostas av ElevenLabs identifieras tydligt i ElevenLabs gränssnitt med beteckningen ”Hostas av ElevenLabs”.