Modelle

ElevenAgents bietet eine einheitliche Schnittstelle, um Ihren Agenten mit mehreren Modellen und Anbietern zu verbinden. Das ermöglicht Flexibilität, Zuverlässigkeit und Kostenoptimierung.

Hauptfunktionen

• Einheitlicher Zugriff: Wechseln Sie mit minimalen Codeänderungen zwischen Anbietern und Modellen
• Hohe Zuverlässigkeit: Wechseln Sie bei Ausfall automatisch von einem Anbieter zum nächsten
• Ausgabenüberwachung: Überwachen Sie Ihre Ausgaben für verschiedene Modelle

Unterstützte Modelle

Derzeit werden die folgenden Modelle nativ unterstützt und können über die Agent-Einstellungen konfiguriert werden:

Benutzerdefiniertes LLM

Sie können Ihr eigenes benutzerdefiniertes LLM verwenden, indem Sie den Endpunkt angeben, an den wir Anfragen senden sollen, und Anmeldedaten über unseren sicheren Secret-Speicher bereitstellen. Erfahren Sie mehr über die Integration benutzerdefinierter LLMs.

Auswahl eines Modells

Bei der Auswahl des am besten geeigneten LLM für Ihre Anwendung sollten Sie mehrere Faktoren berücksichtigen:

• Aufgabenkomplexität: Bewerten Sie Modelle anhand repräsentativer Aufgaben aus Ihrer Anwendung
• Latenzanforderungen: Wählen Sie für Live-Sprachgespräche ein Modell mit niedriger Latenz und messen Sie die Antwortzeit mit Ihren Prompts und Tools
• Größe des Kontextfensters: Wenn Ihre Anwendung Informationen aus langen Gesprächen oder umfangreichen Dokumenten verarbeiten, verstehen oder abrufen muss, wählen Sie Modelle mit größeren Kontextfenstern
• Kosteneffizienz: Wägen Sie die gewünschte Leistung und Funktionen gegen Ihr Budget ab. Die Preise für LLMs können erheblich variieren. Analysieren Sie daher die Preisstruktur für Eingabe-, Ausgabe- und Cache-Tokens im Verhältnis zu Ihren erwarteten Nutzungsmustern
• HIPAA-Konformität: Wenn Ihre Anwendung geschützte Gesundheitsinformationen (PHI) verarbeitet, ist es entscheidend, ein als HIPAA-konform ausgewiesenes LLM zu verwenden und sicherzustellen, dass Ihre gesamte Datenverarbeitung regulatorische Standards erfüllt

Modellkonfiguration

Temperatur

Die Temperatur steuert die Zufälligkeit der Modellantworten. Niedrigere Werte erzeugen konsistentere, fokussiertere Ausgaben, während höhere Werte Kreativität und Variation erhöhen.

• Niedrig (0.0-0.3): Deterministische, konsistente Antworten für strukturierte Interaktionen
• Mittel (0.4-0.7): Ausgewogene Kreativität und Konsistenz
• Hoch (0.8-1.0): Kreative, abwechslungsreiche Antworten für dynamische Gespräche

Konfiguration von Backup-LLMs

Konfigurieren Sie Backup-LLMs, um die Kontinuität von Gesprächen sicherzustellen, wenn das primäre LLM ausfällt oder nicht verfügbar ist.

Konfigurationsoptionen:

• Standard: Verwendet die von ElevenLabs empfohlene Fallback-Reihenfolge
• Benutzerdefiniert: Definieren Sie Ihre eigene kaskadierende Reihenfolge von Backup-Modellen
• Deaktiviert: Kein Fallback (für die Produktion dringend nicht empfohlen)

Erfahren Sie mehr über LLM-Kaskadierung.

Schlussfolgern

Schlussfolgern hilft Agenten bei komplexen Entscheidungen, etwa bei der Auswahl zwischen Tools, der Anwendung von Richtlinien oder der Ausführung mehrstufiger Workflows. Je nach Modell steuern Sie den Umfang des Schlussfolgerns über ein Denkbudget oder eine Stufe für Schlussfolgerungsaufwand.

Denkbudget

Legen Sie mit dem numerischen Schieberegler die maximale Anzahl an Schlussfolgerungs-Tokens fest. Größere Budgets können die Antwortzeit erhöhen. Setzen Sie das Budget auf 0, um das Denken zu deaktivieren, wenn das Modell dies zulässt.

Schlussfolgerungsaufwand

Der Schlussfolgerungsaufwand steuert, wie stark das Modell vor der Antwort nachdenkt. Die verfügbaren Stufen hängen vom ausgewählten Modell ab.

Zusammenfassung der Schlussfolgerung

Aktivieren Sie die Zusammenfassung der Schlussfolgerung, um die vom Modell zurückgegebenen Schlussfolgerungen beim Debuggen von Antworten, Tool-Aufrufen oder Workflow-Pfaden zu erfassen. Aktivieren Sie Zusammenfassung der Schlussfolgerung in den LLM-Einstellungen des Agenten oder setzen Sie enable_reasoning_summary über die API. Die Einstellung ist standardmäßig deaktiviert.

Für benutzerdefinierte Endpunkte lesen Sie wie ElevenLabs Schlussfolgerungen anfordert und speichert.

Inhalte von Schlussfolgerungen unterliegen den Einstellungen für Aufbewahrung und PII-Schwärzung. Sie können über die folgenden Kanäle darauf zugreifen:

Einschränkungen

• Das Anfordern einer Zusammenfassung der Schlussfolgerung kann die Antwortlatenz erhöhen. Testen Sie dies, bevor Sie sie bei latenzsensitiven Sprachagenten aktivieren.
• Anbieter können eine Zusammenfassung, Gedankentext, rohe Schlussfolgerungs-Deltas oder keine darstellbaren Inhalte zurückgeben.

Preise verstehen

• Tokens: Die Nutzung von LLMs wird üblicherweise anhand der Anzahl verarbeiteter Tokens abgerechnet. Als allgemeine Richtlinie entsprechen 100 Tokens bei englischem Text ungefähr 75 Wörtern
• Preise für Eingabe und Ausgabe: Anbieter unterscheiden häufig zwischen Preisen für Eingabe-Tokens (die Daten, die Sie an das Modell senden) und Ausgabe-Tokens (die Daten, die das Modell als Antwort generiert)
• Cache-Preise:
  • input_cache_read: Dies bezeichnet die Kosten für das Abrufen zuvor verarbeiteter Eingabedaten aus einem Cache. Die Nutzung zwischengespeicherter Daten kann Kosten sparen, wenn identische Eingaben mehrfach verarbeitet werden
  • input_cache_write: Dies sind die Kosten für das Speichern von Eingabedaten in einem Cache. Einige LLM-Anbieter berechnen möglicherweise Gebühren für diesen Vorgang
• Die in diesem Dokument aufgeführten Preise gelten pro 1 Million Tokens und basieren auf den zum Zeitpunkt der Erstellung verfügbaren Informationen. Diese Preise können von den LLM-Anbietern geändert werden
• Durchlaufpreise: ElevenLabs gibt LLM-Kosten von Drittanbietern zum veröffentlichten Preis des Anbieters ohne Aufschlag weiter. Ausgewählte Gemini- und Claude-Modelle richten sich nach den regionalen Preisen von Vertex AI (nicht global), die für US- und EU-Traffic berechnet werden — ein Aufschlag von 10 % auf Eingabe-, Ausgabe- und Cache-Tokens entsprechend den regionalen Vertex-Preisen

Aktuelle Modellfunktionen, Preise und Nutzungsbedingungen finden Sie in der Dokumentation des Anbieters.

HIPAA-Konformität

Bestimmte auf unserer Plattform verfügbare LLMs können für Umgebungen geeignet sein, die HIPAA-Konformität erfordern. Weitere Details finden Sie in der Dokumentation zur HIPAA-Konformität.

Weiterführende Ressourcen

• Integration benutzerdefinierter LLMs
• LLM-Kaskadierung
• Kosten optimieren

Von ElevenLabs gehostete Modelle

ElevenLabs bietet Zugriff auf verschiedene KI-Modelle, darunter ausgewählte Drittanbietermodelle, die von ElevenLabs gehostet werden.

Wenn ein Modell als „Hosted by ElevenLabs“ gekennzeichnet ist, wird es auf von ElevenLabs verwalteter Infrastruktur bereitgestellt und betrieben. Diese Modelle werden derzeit in den Vereinigten Staaten oder in der Region Ihres Enterprise-Deployments gehostet.

So erkennen Sie von ElevenLabs gehostete Modelle

Von ElevenLabs gehostete Modelle sind in der ElevenLabs-Oberfläche eindeutig gekennzeichnet. Achten Sie beim Durchsuchen oder Auswählen von Modellen auf die Kennzeichnung „Hosted by ElevenLabs“.

So werden Ihre Daten verarbeitet

Bei von ElevenLabs gehosteten Modellen werden Anfragen innerhalb der von ElevenLabs verwalteten Infrastruktur verarbeitet. Das bedeutet, dass der ursprüngliche Modellanbieter die über ElevenLabs übermittelten Eingaben und Ausgaben weder erhält noch darauf zugreift oder sie verarbeitet.

Durch das Hosting dieser Modelle kann ElevenLabs eine konsistente Erfahrung bieten und gleichzeitig die Kontrolle über die Infrastruktur behalten, die Modellanfragen verarbeitet.

Häufig gestellte Fragen

Wo werden selbst gehostete Modelle gehostet?

Von ElevenLabs gehostete Modelle werden derzeit auf Infrastruktur in den Vereinigten Staaten oder in der Region Ihres Enterprise-Deployments gehostet.

Greift der ursprüngliche Modellanbieter auf meine Daten oder Nutzungsmetadaten zu?

Bei von ElevenLabs gehosteten Modellen erhält der ursprüngliche Entwickler des Modells niemals Ihre Eingaben oder Ausgaben und hat keinen Zugriff auf Daten zum Deployment, das sie verarbeitet.

Wie erkenne ich, ob ein Modell von ElevenLabs gehostet wird?

Von ElevenLabs gehostete Modelle sind in der ElevenLabs-Oberfläche eindeutig mit der Kennzeichnung „Hosted by ElevenLabs“ versehen.