Modele

ElevenAgents zapewnia jednolity interfejs do łączenia agenta z wieloma modelami i dostawcami, oferując elastyczność, niezawodność i optymalizację kosztów.

Zamiast wybierać model tutaj, agenci głosowi mogą korzystać z modelu Realtime — modelu ElevenLabs stworzonego do rozmów głosowych z niskim opóźnieniem.

Główne funkcje

• Jednolity dostęp: Przełączaj dostawców i modele przy minimalnych zmianach w kodzie
• Wysoka niezawodność: Automatycznie przechodź od jednego dostawcy do drugiego, gdy któryś zawiedzie
• Monitorowanie wydatków: Śledź wydatki na różne modele

Obsługiwane modele

Obecnie poniższe modele są obsługiwane natywnie i można je skonfigurować w ustawieniach agenta:

Własny LLM

Możesz użyć własnego LLM, wskazując endpoint, do którego mamy wysyłać żądania, oraz podając dane uwierzytelniające w naszym bezpiecznym magazynie sekretów. Dowiedz się więcej o integracji własnego LLM.

Wybór modelu

Wybierając LLM najlepiej dopasowany do aplikacji, weź pod uwagę kilka czynników:

• Złożoność zadania: Oceń modele na reprezentatywnych zadaniach z aplikacji
• Wymagania dotyczące opóźnień: Do rozmów głosowych na żywo wybierz model o niskim opóźnieniu i zmierz czas odpowiedzi przy użyciu swoich promptów i narzędzi
• Rozmiar okna kontekstowego: Jeśli aplikacja musi przetwarzać, rozumieć lub przypominać sobie informacje z długich rozmów albo obszernych dokumentów, wybierz modele z większymi oknami kontekstowymi
• Opłacalność: Zrównoważ oczekiwaną wydajność i funkcje z budżetem. Ceny LLM mogą znacznie się różnić, więc przeanalizuj strukturę cen (tokeny wejściowe, wyjściowe i cache) względem przewidywanego użycia
• Zgodność z HIPAA: Jeśli aplikacja przetwarza chronione informacje zdrowotne (PHI), koniecznie używaj LLM oznaczonego jako zgodny z HIPAA i zadbaj, by cały proces obsługi danych spełniał normy regulacyjne

Konfiguracja modelu

Temperatura

Temperatura kontroluje losowość odpowiedzi modelu. Niższe wartości dają bardziej spójne i skupione wyniki, a wyższe zwiększają kreatywność i różnorodność.

• Niska (0.0-0.3): Deterministyczne, spójne odpowiedzi do ustrukturyzowanych interakcji
• Średnia (0.4-0.7): Równowaga między kreatywnością a spójnością
• Wysoka (0.8-1.0): Kreatywne, zróżnicowane odpowiedzi do dynamicznych rozmów

Konfiguracja zapasowego LLM

Skonfiguruj zapasowe LLM, aby zachować ciągłość rozmowy, gdy główny LLM zawiedzie lub stanie się niedostępny.

Opcje konfiguracji:

• Domyślna: Korzysta z zalecanej przez ElevenLabs sekwencji awaryjnej
• Własna: Zdefiniuj własną kaskadową sekwencję modeli zapasowych
• Wyłączona: Bez rozwiązania awaryjnego (zdecydowanie odradzane w środowisku produkcyjnym)

Dowiedz się więcej o kaskadowaniu LLM.

Rozumowanie

Rozumowanie pomaga agentom podejmować złożone decyzje, np. wybierać narzędzia, stosować zasady lub realizować wieloetapowe workflow. Zależnie od modelu możesz określić zakres rozumowania za pomocą budżetu myślenia albo poziomu wysiłku rozumowania.

Budżet myślenia

Ustaw maksymalną liczbę tokenów rozumowania za pomocą suwaka numerycznego. Większy budżet może wydłużyć czas odpowiedzi. Ustaw budżet na 0, aby wyłączyć myślenie, jeśli model na to pozwala.

Wysiłek rozumowania

Wysiłek rozumowania określa, ile model analizuje przed odpowiedzią. Dostępne poziomy zależą od wybranego modelu.

Podsumowanie rozumowania

Włącz podsumowanie rozumowania, aby rejestrować zwrócone przez model rozumowanie podczas debugowania odpowiedzi, wywołań narzędzi lub ścieżek workflow. Włącz Podsumowanie rozumowania w ustawieniach LLM agenta albo ustaw enable_reasoning_summary przez API. To ustawienie jest domyślnie wyłączone.

W przypadku własnych endpointów zobacz jak ElevenLabs żąda i przechowuje rozumowanie.

Zawartość rozumowania podlega ustawieniom retencji i redakcji PII. Możesz uzyskać do niej dostęp przez następujące kanały:

Ograniczenia

• Żądanie podsumowania rozumowania może zwiększyć opóźnienie odpowiedzi. Przetestuj je przed włączeniem dla agentów głosowych wrażliwych na opóźnienia.
• Dostawcy mogą zwrócić podsumowanie, tekst myśli, surowe delty rozumowania lub treść niemożliwą do wyświetlenia.

Informacje o cenach

• Tokeny: Użycie LLM jest zwykle rozliczane na podstawie liczby przetworzonych tokenów. Ogólnie dla tekstu angielskiego 100 tokenów odpowiada około 75 słowom
• Ceny wejścia i wyjścia: Dostawcy często różnicują ceny tokenów wejściowych (danych wysyłanych do modelu) i wyjściowych (danych generowanych przez model w odpowiedzi)
• Ceny cache:
  • input_cache_read: Dotyczy kosztu pobierania z cache wcześniej przetworzonych danych wejściowych. Korzystanie z danych w cache może obniżyć koszty, jeśli identyczne dane wejściowe są przetwarzane wielokrotnie
  • input_cache_write: To koszt zapisania danych wejściowych w cache. Niektórzy dostawcy LLM mogą pobierać opłatę za tę operację
• Ceny podane w tym dokumencie dotyczą 1 miliona tokenów i opierają się na informacjach dostępnych w chwili pisania. Dostawcy LLM mogą je zmienić
• Ceny bez narzutu: ElevenLabs przekazuje koszty zewnętrznych LLM według opublikowanych stawek dostawców, bez marży. Wybrane modele Gemini i Claude są zgodne z regionalnymi cenami Vertex AI (nieglobalnymi), według których rozliczany jest ruch z USA i UE — o 10% wyższymi dla tokenów wejściowych, wyjściowych i cache, zgodnie ze stawkami regionalnymi Vertex

Aktualne możliwości modeli, ceny i warunki korzystania znajdziesz w dokumentacji dostawcy.

Zgodność z HIPAA

Niektóre LLM dostępne na naszej platformie mogą nadawać się do użycia w środowiskach wymagających zgodności z HIPAA. Więcej informacji znajdziesz w dokumentacji zgodności z HIPAA.

Powiązane materiały

• Integracja własnego LLM
• Kaskadowanie LLM
• Optymalizacja kosztów

Modele hostowane przez ElevenLabs

ElevenLabs oferuje dostęp do wielu modeli AI, w tym wybranych modeli zewnętrznych hostowanych przez ElevenLabs.

Gdy model jest oznaczony jako „Hosted by ElevenLabs”, jest wdrażany i obsługiwany na infrastrukturze zarządzanej przez ElevenLabs. Modele te są obecnie hostowane w Stanach Zjednoczonych lub w regionie wdrożenia Enterprise.

Jak rozpoznać modele hostowane przez ElevenLabs

Modele hostowane przez ElevenLabs są wyraźnie oznaczone w interfejsie ElevenLabs. Szukaj oznaczenia „Hosted by ElevenLabs” podczas przeglądania lub wybierania modeli.

Jak przetwarzamy twoje dane

W przypadku modeli hostowanych przez ElevenLabs żądania są przetwarzane w infrastrukturze zarządzanej przez ElevenLabs. Oznacza to, że pierwotny dostawca modelu nie otrzymuje, nie uzyskuje dostępu do ani nie przetwarza danych wejściowych i wyjściowych przesłanych przez ElevenLabs.

Hostując te modele, ElevenLabs zapewnia spójne działanie i zachowuje kontrolę nad infrastrukturą obsługującą żądania do modeli.

Najczęstsze pytania

Gdzie hostowane są modele hostowane samodzielnie?

Modele hostowane przez ElevenLabs są obecnie hostowane na infrastrukturze w Stanach Zjednoczonych lub w regionie wdrożenia Enterprise.

Czy pierwotny dostawca modelu ma dostęp do moich danych lub metadanych mojego użycia?

W przypadku modeli hostowanych przez ElevenLabs pierwotny deweloper modelu nigdy nie otrzymuje twoich danych wejściowych ani wyjściowych i nie ma dostępu do danych o wdrożeniu, które je przetwarza.

Skąd wiem, czy model jest hostowany przez ElevenLabs?

Modele hostowane przez ElevenLabs są wyraźnie oznaczone w interfejsie ElevenLabs etykietą „Hosted by ElevenLabs”.