Przejdź do nawigacji
Zaawansowane

Kaskadowanie LLM

Dowiedz się, jak Agents Platform zapewnia niezawodne odpowiedzi LLM dzięki mechanizmowi kaskadowego przełączania awaryjnego.

Omówienie

Agents Platform używa mechanizmu kaskadowania LLM, aby zwiększyć niezawodność i odporność generowania tekstu. Jeśli skonfigurowany główny model Large Language Model (LLM) zawiedzie, system automatycznie próbuje użyć zapasowych modeli LLM, zapewniając płynniejsze i bardziej spójne doświadczenie użytkownika.

Awarie mogą obejmować błędy API, limity czasu lub puste odpowiedzi od dostawcy LLM. Logika kaskadowania sprawnie obsługuje takie sytuacje.

Jak to działa

Proces kaskadowania przebiega w określonej kolejności:

  1. Próba użycia preferowanego LLM: System najpierw próbuje wygenerować odpowiedź za pomocą LLM wybranego w konfiguracji agenta.

  2. Sekwencja zapasowych LLM: Jeśli preferowany LLM zawiedzie, system automatycznie przechodzi do zdefiniowanej sekwencji zapasowych LLM. Sekwencja jest dobierana na podstawie wydajności, szybkości i niezawodności modeli. Obecna domyślna sekwencja (może ulec zmianie) to:

    1. Gemini 2.5 Flash
    2. GPT-4o
    3. Gemini 2.5 Flash Lite
    4. Claude Sonnet 4.5

  3. Zgodność z HIPAA: Jeśli agent działa w trybie wymagającym ścisłej ochrony danych (zgodność z HIPAA / zerowe przechowywanie danych), lista zapasowa jest filtrowana tak, aby obejmowała tylko zgodne modele z powyższej sekwencji.

  4. Ponowienia: System kilkukrotnie ponawia proces generowania (co najmniej 3 próby) w dostępnej sekwencji LLM (preferowany + zapasowe). Jeśli zapasowy LLM również zawiedzie, przechodzi do następnego w sekwencji. Jeśli w limicie ponowień zabraknie unikalnych zapasowych LLM, może ponowić próbę z wcześniej nieudanymi modelami zapasowymi.

  5. Leniwa inicjalizacja: Połączenia z zapasowymi LLM są inicjalizowane tylko wtedy, gdy są potrzebne, co optymalizuje użycie zasobów.

Konkretna lista i kolejność zapasowych LLM są zarządzane wewnętrznie przez ElevenLabs i optymalizowane pod kątem wydajności i dostępności. Powyższa sekwencja przedstawia obecne ustawienie domyślne, ale może zostać zmieniona bez powiadomienia.

Własne LLM

Gdy konfigurujesz własny LLM, standardowa logika kaskadowania do innych modeli jest pomijana. System spróbuje użyć wskazanego przez ciebie własnego LLM.

Jeśli własny LLM zawiedzie, system kilkukrotnie ponowi żądanie z tym samym własnym LLM (zgodnie ze standardową minimalną liczbą ponowień), zanim uzna żądanie za nieudane. Nie przejdzie do modeli hostowanych przez ElevenLabs, aby zachować twoją konkretną konfigurację.

W agencie korzystającym z modelu Realtime agent przechodzi do zapasowego LLM, jeśli model Realtime nie odpowie na czas. Model Realtime określa, jak długo agent czeka.

Korzyści

  • Większa niezawodność: Ogranicza skutki tymczasowych problemów z konkretnym dostawcą LLM.
  • Wyższa dostępność: Zwiększa szansę na pomyślne wygenerowanie odpowiedzi nawet podczas częściowych awarii LLM.
  • Płynne działanie: Mechanizm awaryjny działa automatycznie i jest niewidoczny dla użytkownika końcowego.

Konfiguracja

Kaskadowanie LLM to automatyczny proces w tle. Wystarczy wybrać preferowany LLM w ustawieniach agenta. System zajmie się resztą, aby zapewnić niezawodne działanie.