탐색으로 건너뛰기

LLM 연쇄 전환

Agents Platform이 연쇄 폴백 메커니즘으로 안정적인 LLM 응답을 보장하는 방법을 알아보세요.

개요

Agents Platform은 텍스트 생성 기능의 안정성과 복원력을 높이기 위해 LLM 연쇄 전환 메커니즘을 사용합니다. 기본 구성 LLM에 장애가 발생하면 이 시스템은 자동으로 백업 대규모 언어 모델(LLM)을 사용하여, 더 원활하고 일관된 사용자 경험을 보장합니다.

장애에는 API 오류, 시간 초과 또는 LLM 제공업체의 빈 응답이 포함될 수 있습니다. 연쇄 전환 로직은 이러한 상황을 원활하게 처리합니다.

작동 방식

연쇄 전환 프로세스는 정해진 순서를 따릅니다.

  1. 기본 LLM 시도: 시스템은 먼저 에이전트 구성에서 선택한 LLM을 사용해 응답 생성을 시도합니다.

  2. 백업 LLM 순서: 기본 LLM에 장애가 발생하면 시스템은 사전 정의된 백업 LLM 순서로 자동 폴백합니다. 이 순서는 모델 성능, 속도 및 안정성을 기반으로 선별됩니다. 현재 기본 순서(변경될 수 있음)는 다음과 같습니다.

    1. Gemini 3.5 Flash
    2. GPT-4o
    3. Gemini 3.5 Flash-Lite
    4. Claude Sonnet 4.6
  3. HIPAA 규정 준수: 에이전트가 엄격한 데이터 개인정보 보호가 필요한 모드(HIPAA 규정 준수 / 데이터 보존 없음)로 작동하는 경우, 백업 목록은 위 순서에서 규정을 준수하는 모델만 포함하도록 필터링됩니다.

  4. 재시도: 시스템은 사용 가능한 LLM 순서(기본 + 백업)에 걸쳐 생성 프로세스를 여러 번(최소 3회) 재시도합니다. 백업 LLM에도 장애가 발생하면 순서에서 다음 모델로 진행합니다. 재시도 제한 내에서 고유한 백업 LLM을 모두 사용하면, 이전에 실패한 백업 모델을 다시 시도할 수 있습니다.

  5. 지연 초기화: 백업 LLM 연결은 필요할 때만 초기화하여 리소스 사용을 최적화합니다.

백업 LLM의 구체적인 목록과 순서는 ElevenLabs에서 내부적으로 관리하며 성능과 가용성을 위해 최적화됩니다. 위에 나열된 순서는 현재 기본값이지만 사전 통지 없이 업데이트될 수 있습니다.

사용자 지정 LLM

사용자 지정 LLM을 기본 모델로 구성하면, 기본적으로 ElevenLabs 호스팅 모델로의 표준 연쇄 전환 로직은 우회됩니다. 시스템은 사용자 지정 LLM 사용을 시도하고, 실패하면 요청이 실패한 것으로 판단하기 전에 동일한 사용자 지정 LLM으로 여러 번(표준 최소 재시도 횟수와 동일) 요청을 재시도합니다.

이 기본 동작은 모든 트래픽을 자체 엔드포인트에 유지하지만, 사용자 지정 LLM에 지속적인 장애가 발생하면 대화가 종료된다는 의미입니다. 사용자 지정 LLM을 사용할 수 없을 때도 대화를 계속하려면 다른 모델로 폴백하는 사용자 지정 백업 연쇄를 구성하세요.

사용자 지정 백업 연쇄 구성

사용자 지정 백업 연쇄는 사용자 지정 LLM이 기본 모델일 때도 다른 모델과 동일한 방식으로 작동합니다. 에이전트의 백업 LLM 기본 설정을 override로 설정하고, 순서대로 폴백할 ElevenLabs 호스팅 모델이 나열된 order 배열을 제공하세요. 정확한 형식은 에이전트 생성 및 에이전트 업데이트 엔드포인트의 backup_llm_config 필드를 참조하세요.

ElevenLabs 대시보드의 백업 LLM 구성에서 사용자 지정을 선택하고 폴백 모델을 정렬하여 이를 구성할 수도 있습니다. 사용 가능한 옵션은 모델을 참조하세요.

연쇄 전환은 위에서 설명한 것과 동일한 재시도 및 시간 초과 동작을 따릅니다. 순서에 있는 각 모델을 차례로 시도하며, 요청이 실패한 것으로 판단하기 전에 순서 전체(기본 모델과 백업 모델)에서 최소 3회 시도합니다. 단일 모델에서 다음 모델로 이동하기 전까지 시스템이 기다리는 시간을 제어하려면 cascade_timeout_seconds(2~15초, 기본값 4)를 설정하세요.

사용자 지정 LLM은 기본 모델로만 사용할 수 있으며 백업 order에 나열할 수 없습니다. 백업 항목은 ElevenLabs 호스팅 모델이어야 합니다.

사용자 지정 LLM이 기본 모델이고 backup_llm_config가 default 또는 disabled로 설정된 경우, 시스템은 ElevenLabs 호스팅 모델로 폴백하지 않습니다. 사용자 지정 LLM에 지속적인 장애가 발생하면 백업 없이 대화가 종료됩니다. 폴백을 활성화하려면 override를 사용하세요. 의도적으로 폴백을 원하지 않는 경우에만 disabled를 설정하세요(프로덕션 환경에서는 사용을 강력히 권장하지 않음).

Realtime 모델을 사용하는 에이전트에서는 Realtime 모델이 제시간에 응답하지 않을 경우 백업 LLM으로 폴백합니다. Realtime 모델이 에이전트의 대기 시간을 설정합니다.

이점

  • 향상된 안정성: 특정 LLM 제공업체의 일시적인 문제 영향을 줄입니다.
  • 더 높은 가용성: 부분적인 LLM 장애 중에도 응답을 성공적으로 생성할 가능성을 높입니다.
  • 원활한 운영: 폴백 메커니즘은 자동으로 작동하며 최종 사용자에게 투명합니다.

구성

LLM 연쇄 전환은 자동 백그라운드 프로세스입니다. 기본적으로 에이전트 설정에서 기본 LLM만 선택하면 시스템이 나머지를 처리합니다.

사용자 지정 LLM을 기본 모델로 사용하는 경우를 포함해 폴백 동작을 맞춤 설정하려면 에이전트의 백업 LLM 구성을 기본값, 사용자 지정 또는 사용 안 함으로 설정하세요(위의 사용자 지정 LLM 참조).