Modele
Dowiedz się, jak wybrać odpowiedni model do swojego zastosowania
ElevenAgents oferuje jeden interfejs do łączenia agenta z wieloma modelami i dostawcami, zapewniając elastyczność, niezawodność i optymalizację kosztów.
Zamiast wybierać tutaj model, agenci głosowi mogą używać modelu Realtime — modelu ElevenLabs stworzonego do rozmów głosowych o niskich opóźnieniach.
Najważniejsze funkcje
- Ujednolicony dostęp: Przełączaj się między dostawcami i modelami przy minimalnych zmianach w kodzie
- Wysoka niezawodność: Automatycznie przechodź do innego dostawcy, gdy jeden zawiedzie
- Monitorowanie wydatków: Śledź wydatki w różnych modelach
Obsługiwane modele
Obecnie następujące modele są natywnie obsługiwane i można je skonfigurować w ustawieniach agenta:
Ceny są zwykle podawane w USD za 1 milion tokenów, chyba że wskazano inaczej. Token to podstawowa jednostka danych tekstowych dla LLM, odpowiadająca średnio około 4 znakom.
Własny LLM
Możesz użyć własnego LLM, podając endpoint, do którego mamy wysyłać żądania, oraz dane uwierzytelniające w naszym bezpiecznym magazynie sekretów. Dowiedz się więcej o integracji własnego LLM.
Niektóre modele są niedostępne po włączeniu rezydencji danych w UE. Szczegóły dostępności znajdziesz w RODO i rezydencji danych.
Wybór modelu
Wybór najodpowiedniejszego LLM dla aplikacji wymaga uwzględnienia kilku czynników:
- Złożoność zadania: Oceń modele na reprezentatywnych zadaniach z aplikacji
- Wymagania dotyczące opóźnień: W przypadku rozmów głosowych na żywo wybierz model o niskich opóźnieniach i zmierz czas odpowiedzi dla swoich promptów i narzędzi
- Rozmiar okna kontekstowego: Jeśli aplikacja musi przetwarzać, rozumieć lub pamiętać informacje z długich rozmów albo obszernych dokumentów, wybierz modele z większymi oknami kontekstowymi
- Opłacalność: Zrównoważ oczekiwaną wydajność i funkcje z budżetem. Ceny LLM mogą znacznie się różnić, więc przeanalizuj strukturę cenową (tokeny wejściowe, wyjściowe i cache) w odniesieniu do przewidywanego sposobu użycia
- Zgodność z HIPAA: Jeśli aplikacja przetwarza chronione informacje zdrowotne (PHI), kluczowe jest użycie LLM oznaczonego jako zgodny z HIPAA oraz zapewnienie, że cały proces przetwarzania danych spełnia wymogi regulacyjne
Maksymalny rozmiar promptu systemowego to 2 MB. Obejmuje on instrukcje agenta, zawartość bazy wiedzy i inny kontekst na poziomie systemu.
Konfiguracja modelu
Temperatura
Temperatura kontroluje losowość odpowiedzi modelu. Niższe wartości dają bardziej spójne i skupione wyniki, a wyższe zwiększają kreatywność i różnorodność.
- Niska (0.0–0.3): Deterministyczne, spójne odpowiedzi do ustrukturyzowanych interakcji
- Średnia (0.4–0.7): Równowaga między kreatywnością a spójnością
- Wysoka (0.8–1.0): Kreatywne, zróżnicowane odpowiedzi do dynamicznych rozmów
Konfiguracja zapasowych LLM
Skonfiguruj zapasowe LLM, aby zapewnić ciągłość rozmowy, gdy główny LLM zawiedzie lub stanie się niedostępny.
Opcje konfiguracji:
- Domyślna: Używa zalecanej przez ElevenLabs sekwencji awaryjnej
- Własna: Określ własną sekwencję kaskadową modeli zapasowych
- Wyłączona: Bez trybu awaryjnego (stanowczo odradzane w środowisku produkcyjnym)
Wyłączenie zapasowych LLM oznacza, że rozmowy zakończą się nagle, jeśli główny LLM zawiedzie lub stanie się niedostępny. Stanowczo odradzamy to w środowisku produkcyjnym.
Dowiedz się więcej o kaskadowaniu LLM.
Rozumowanie
Rozumowanie pomaga agentom radzić sobie ze złożonymi decyzjami, takimi jak wybór narzędzi, stosowanie zasad czy realizacja wieloetapowych workflow. W zależności od modelu możesz kontrolować zakres rozumowania za pomocą budżetu myślenia lub poziomu wysiłku rozumowania.
Budżet myślenia
Ustaw maksymalną liczbę tokenów rozumowania za pomocą suwaka numerycznego. Większy budżet może wydłużyć czas odpowiedzi. Ustaw budżet na 0, aby wyłączyć myślenie, jeśli model na to pozwala.
Wysiłek rozumowania
Wysiłek rozumowania określa, ile rozumowania model wykonuje przed udzieleniem odpowiedzi. Dostępne poziomy zależą od wybranego modelu.
W przypadku agentów głosowych na żywo zacznij od niższego budżetu lub wysiłku, ponieważ dodatkowe myślenie może opóźnić zmianę tury. Zwiększ je w krokach workflow wymagających bardziej złożonych decyzji.
Podsumowanie rozumowania
Włącz podsumowanie rozumowania, aby rejestrować zwracane przez model rozumowanie podczas debugowania odpowiedzi, wywołań narzędzi lub ścieżek workflow. Włącz Podsumowanie rozumowania w ustawieniach LLM agenta lub ustaw enable_reasoning_summary przez API. To ustawienie jest domyślnie wyłączone.
W przypadku własnych endpointów zobacz jak ElevenLabs żąda i przechowuje rozumowanie.
Treść rozumowania podlega ustawieniom retencji i redakcji PII. Możesz uzyskać do niej dostęp przez następujące kanały:
W trybie Zero Retention ElevenLabs **nie przechowuje treści rozumowania **. Jest ona przekazywana tylko klientom czatu i webhookom po rozmowie.
Ograniczenia
- Żądanie podsumowania rozumowania może zwiększyć opóźnienie odpowiedzi. Przetestuj je przed włączeniem w agentach głosowych wrażliwych na opóźnienia.
- Dostawcy mogą zwrócić podsumowanie, tekst myśli, surowe delty rozumowania albo brak treści do wyświetlenia.
Jak rozumieć ceny
- Tokeny: Korzystanie z LLM jest zwykle rozliczane na podstawie liczby przetworzonych tokenów. Dla tekstu angielskiego 100 tokenów odpowiada w przybliżeniu 75 słowom
- Ceny wejścia i wyjścia: Dostawcy często rozróżniają ceny tokenów wejściowych (dane wysyłane do modelu) i tokenów wyjściowych (dane generowane przez model w odpowiedzi)
- Ceny cache:
input_cache_read: Koszt pobierania wcześniej przetworzonych danych wejściowych z cache. Użycie danych z cache może obniżyć koszty, jeśli identyczne dane wejściowe są przetwarzane wielokrotnieinput_cache_write: Koszt zapisywania danych wejściowych w cache. Niektórzy dostawcy LLM mogą pobierać opłatę za tę operację
- Ceny podane w tym dokumencie dotyczą 1 miliona tokenów i opierają się na informacjach dostępnych w chwili pisania. Dostawcy LLM mogą je zmienić
- Ceny bez marży: ElevenLabs przekazuje koszty LLM innych firm według opublikowanej stawki dostawcy, bez marży. Wybrane modele Gemini i Claude są zgodne z regionalnymi (nieglobalnymi) cenami Vertex AI, według których rozliczany jest ruch w USA i UE — wzrost o 10% dla tokenów wejściowych, wyjściowych i cache, zgodny ze stawkami regionalnymi Vertex
Aktualne możliwości modeli, ceny i warunki korzystania znajdziesz w dokumentacji dostawcy.
Zgodność z HIPAA
Niektóre LLM dostępne na naszej platformie mogą nadawać się do użycia w środowiskach wymagających zgodności z HIPAA. Więcej informacji znajdziesz w dokumentacji zgodności z HIPAA.
Powiązane materiały
Modele hostowane przez ElevenLabs
ElevenLabs oferuje dostęp do różnych modeli AI, w tym wybranych modeli innych firm hostowanych przez ElevenLabs.
Gdy model jest oznaczony jako „Hosted by ElevenLabs”, jest wdrażany i obsługiwany na infrastrukturze zarządzanej przez ElevenLabs. Modele te są obecnie hostowane w Stanach Zjednoczonych lub w regionie wdrożenia Enterprise.
Jak rozpoznać modele hostowane przez ElevenLabs
Modele hostowane przez ElevenLabs są wyraźnie oznaczone w interfejsie ElevenLabs. Podczas przeglądania lub wybierania modeli szukaj oznaczenia „Hosted by ElevenLabs”.
Jak przetwarzamy twoje dane
W przypadku modeli hostowanych przez ElevenLabs żądania są przetwarzane w infrastrukturze zarządzanej przez ElevenLabs. Oznacza to, że pierwotny dostawca modelu nie otrzymuje, nie uzyskuje dostępu ani nie przetwarza danych wejściowych i wyjściowych przesłanych przez ElevenLabs.
Hostując te modele, ElevenLabs może zapewnić spójne działanie przy zachowaniu kontroli nad infrastrukturą obsługującą żądania do modeli.
Często zadawane pytania
Gdzie hostowane są modele hostowane samodzielnie?
Modele hostowane przez ElevenLabs są obecnie hostowane na infrastrukturze w Stanach Zjednoczonych lub w regionie wdrożenia Enterprise.
Czy pierwotny dostawca modelu ma dostęp do moich danych lub metadanych użycia?
W przypadku modeli hostowanych przez ElevenLabs pierwotny deweloper modelu nigdy nie otrzymuje twoich danych wejściowych ani wyjściowych i nie ma dostępu do danych o wdrożeniu, które je przetwarza.
Skąd wiem, czy model jest hostowany przez ElevenLabs?
Modele hostowane przez ElevenLabs są wyraźnie oznaczone w interfejsie ElevenLabs jako „Hosted by ElevenLabs”.