LLM 캐스케이딩

개요

Agents Platform은 텍스트 생성 기능의 신뢰성과 복원력을 높이기 위해 LLM 캐스케이딩 메커니즘을 사용합니다. 기본으로 구성된 대규모 언어 모델(LLM)에 실패가 발생하면 이 시스템은 자동으로 백업 LLM 사용을 시도하여 더욱 원활하고 일관된 사용자 경험을 보장합니다.

실패에는 API 오류, 시간 초과 또는 LLM 제공업체의 빈 응답이 포함될 수 있습니다. 캐스케이드 로직은 이러한 상황을 안정적으로 처리합니다.

작동 방식

캐스케이딩 프로세스는 정의된 순서를 따릅니다.

1. 우선 LLM 시도: 시스템은 먼저 에이전트 구성에서 선택한 LLM을 사용하여 응답을 생성하려고 시도합니다.

2. 백업 LLM 순서: 우선 LLM이 실패하면 시스템은 미리 정의된 백업 LLM 순서로 자동 대체됩니다. 이 순서는 모델 성능, 속도 및 안정성을 기준으로 선정됩니다. 현재 기본 순서(변경될 수 있음)는 다음과 같습니다.

   1. Gemini 2.5 Flash
   2. GPT-4o
   3. Gemini 2.5 Flash Lite
   4. Claude Sonnet 4.5

3. HIPAA 준수: 에이전트가 엄격한 데이터 개인정보 보호가 필요한 모드(HIPAA 준수 / 데이터 보존 없음)에서 작동하는 경우, 백업 목록은 위 순서에서 규정을 준수하는 모델만 포함하도록 필터링됩니다.

4. 재시도: 시스템은 사용 가능한 LLM 순서(우선 LLM + 백업) 전반에 걸쳐 생성 프로세스를 여러 번(최소 3회) 재시도합니다. 백업 LLM도 실패하면 순서상의 다음 LLM으로 진행합니다. 재시도 제한 내에서 고유한 백업 LLM을 모두 사용하면 이전에 실패한 백업 모델을 다시 시도할 수 있습니다.

5. 지연 초기화: 백업 LLM 연결은 필요할 때만 초기화하여 리소스 사용을 최적화합니다.

맞춤 LLM

맞춤 LLM을 구성하면 다른 모델로 전환하는 표준 캐스케이딩 로직은 우회됩니다. 시스템은 지정한 맞춤 LLM 사용을 시도합니다.

맞춤 LLM이 실패하면 시스템은 요청이 실패한 것으로 처리하기 전에 동일한 맞춤 LLM으로 여러 번(표준 최소 재시도 횟수와 동일하게) 요청을 재시도합니다. ElevenLabs 호스팅 모델로 대체되지 않으므로 지정한 구성이 유지됩니다.

Realtime 모델을 사용하는 에이전트에서는 Realtime 모델이 제시간에 응답하지 않을 경우 백업 LLM으로 대체됩니다. Realtime 모델이 에이전트의 대기 시간을 설정합니다.

이점

• 향상된 안정성: 특정 LLM 제공업체에서 발생하는 일시적인 문제의 영향을 줄입니다.
• 높은 가용성: 부분적인 LLM 장애 중에도 응답을 성공적으로 생성할 가능성을 높입니다.
• 원활한 작동: 폴백 메커니즘은 자동으로 작동하며 최종 사용자에게 투명하게 처리됩니다.

구성

LLM 캐스케이딩은 자동으로 실행되는 백그라운드 프로세스입니다. 필요한 유일한 구성은 에이전트 설정에서 우선 LLM을 선택하는 것입니다. 안정적인 성능을 위해 나머지는 시스템이 처리합니다.