계단식 vs 융합형 모델: 아키텍처가 엔터프라이즈급 보이스 에이전트의 기준을 결정합니다

대부분의 사람들은 음성 에이전트가 캐스케이드 또는 융합 아키텍처 중 하나로 구축된다고 생각합니다. 실제로 에이전트는 이 둘 사이의 스펙트럼을 따라 설계되며, 애플리케이션에 따라 일반적으로 5가지 아키텍처가 사용됩니다.

에이전트의 아키텍처는 프로덕션 환경에서 안정적으로 작동하고, 특정 비즈니스 요구사항에 맞게 조정되며, 대화에서 자연스럽게 들리는 능력을 결정합니다. OpenAI의 Realtime 모델과 같은 융합 기반 아키텍처는 짧은 대화에서 놀라울 만큼 실제 사람처럼 들릴 수 있습니다. 하지만 팀이 컴플라이언스 가드레일을 적용하거나, 실패한 응답을 디버깅하거나, 다음 달에 더 강력한 LLM이 출시되면 교체해야 할 때 단일 융합 네트워크는 선택지가 거의 없습니다.

ElevenLabs는 고급 캐스케이드 기반 아키텍처를 사용합니다. 높은 수준의 지능과 신뢰성을 위해 음성 인식, 추론, 음성 생성에 특화된 구성 요소를 활용합니다. 대화가 자연스럽게 이어지도록 문맥적 운율, 저지연 최적화, 지능형 턴테이킹을 더했습니다. 함께 일하는 기업과 정부 기관에는 사실적으로 들리면서도 복잡한 작업을 프로덕션 환경에서 신뢰할 수 있는 에이전트가 필요하기 때문에 이렇게 구축했습니다. 

이 글에서는 5가지 주요 아키텍처와 각각의 강점 및 한계, 그리고 핵심 워크플로에 배포되는 에이전트의 기반을 바라보는 ElevenLabs의 관점을 살펴봅니다.

아키텍처 선택 시 팀이 평가하는 요소

팀이 주로 던지는 질문은 세 가지 범주로 나뉩니다.

복잡한 작업을 처리할 수 있나요?

• 추론 및 모델 유연성: 사용 사례에 가장 적합한 모델과 현재 사용 가능한 가장 강력한 LLM을 선택하고, 더 나은 옵션이 나오면 업그레이드할 수 있나요?
• 에이전트 로직: 에이전트가 따르는 대화 흐름, 의사결정 규칙, 에스컬레이션 경로를 정의하고 제어할 수 있나요?
• 도구 사용: 아키텍처가 여러 단계의 도구 호출과 외부 시스템 연동을 지원할 수 있나요?

사람처럼 들리고 느껴지나요?

• 운율: 에이전트가 자연스러운 리듬, 억양, 감정적 톤을 구현하나요?
• 지연 시간: 응답이 대화처럼 느껴질 만큼 빠른가요?
• 턴테이킹: 에이전트가 언제 말하고, 멈추고, 상대에게 차례를 넘겨야 하는지 아나요?

프로덕션 환경에서 신뢰할 수 있나요?

• 신뢰성: 에이전트가 예측 가능하고 일관되게 작동하나요, 아니면 시간이 지나며 성능이 변하나요?
• 가드레일: 아키텍처가 의도하지 않은 응답이나 적대적인 사용자에 대한 보호 장치를 적용할 수 있나요?
• 투명성: 아키텍처가 중간 출력을 제공하나요, 아니면 블랙박스인가요?

캐스케이드 및 융합 아키텍처의 트레이드오프

캐스케이드 기반 아키텍처는 특화된 구성 요소를 연결해 구축합니다. 음성 인식(STT), 대규모 언어 모델, 텍스트 음성 변환(TTS)입니다. 각 단계는 독립적으로 최적화, 테스트, 업그레이드할 수 있습니다. 

캐스케이드 아키텍처

이러한 모듈성이 캐스케이드 아키텍처를 대부분의 엔터프라이즈급 에이전트의 기반으로 만듭니다. 모든 단계에서 검사 가능한 출력이 생성됩니다. STT와 LLM 사이, LLM과 TTS 사이에는 사람이 읽을 수 있는 텍스트가 있습니다. 텍스트 계층에서 가드레일을 적용할 수 있고, 음성 모델을 수정하지 않고도 최신 프런티어 LLM을 통합할 수 있으며, 문제가 발생하면 일반적으로 원인을 식별할 수 있습니다.

캐스케이드 아키텍처에 대한 오랜 비판은 운율 단서를 잃는다는 점입니다. 음성은 텍스트로 축소되고, 억양, 리듬, 감정은 출력 단계에서 재구성해야 합니다. 이러한 단서는 명시적 모델링으로 일부 복원할 수 있지만, 융합 방식만큼 자연스럽게 포착되지는 않습니다. 지연 시간과 턴테이킹 같은 다른 요소는 일반적으로 두 방식 모두에서 비슷한 수준으로 최적화할 수 있습니다.

융합 모델

융합 아키텍처는 근본적으로 다른 접근 방식을 취합니다. 인식, 추론, 생성이 모두 하나의 멀티모달 네트워크 안에서 이루어집니다. 오디오는 입력되고 출력되며, 그 사이에 검사 가능한 계층은 없습니다.

이러한 중간 단계의 부재는 장점이자 한계입니다. 융합 아키텍처는 음성이 텍스트로 분해되지 않으므로 운율 단서를 자연스럽게 보존할 수 있습니다. 하지만 가드레일을 적용하거나, 개별 구성 요소를 교체하거나, 디버깅을 위해 중간 출력을 검사하는 능력은 제한적입니다. 또한 산업별 용어에 맞게 STT를 파인튜닝하거나, 더 강력한 추론과 도구 호출을 위해 다른 LLM을 통합하는 데도 제약이 있습니다. 시스템은 하나의 네트워크이며, 팀은 제공되는 추론 기능에 제한됩니다. 현재 이는 복잡한 작업에서 프런티어 LLM에 필적할 수 없는 비교적 경량의 코어를 의미합니다.

5가지 아키텍처

1. 기본 캐스케이드

오디오를 텍스트로 변환하고, LLM이 텍스트 응답을 생성한 뒤, TTS가 이를 말합니다. 모든 단계가 일반 텍스트로 작동하므로 모든 것을 확인하고, 테스트하고, 제어할 수 있습니다.

신뢰성 측면의 장점은 분명합니다. 텍스트 계층의 가드레일, 결정론적 대화 흐름, 완전한 감사 추적을 제공합니다. LLM은 독립형 구성 요소이므로 가장 강력한 추론이나 도구 호출 기능을 제공하는 프런티어 모델과 에이전트를 연결할 수 있으며, 더 나은 모델이 출시되는 즉시 업그레이드할 수 있습니다. 약점은 대화 품질입니다. 문맥 인식 TTS가 없으면 에이전트는 기능적으로는 충분하지만 단조롭게 들립니다. 감정 적응이나 운율 변화가 없어 계정 잔액을 안내하는 데는 적합하지만, 불만을 품은 고객을 응대하기에는 부족합니다.

사용 사례 예시:

• 통신 및 공공 서비스 분야의 IVR 대체
• SaaS 온보딩을 위한 FAQ 처리
• 따뜻한 응대보다 일관성이 중요한 예약 확인, 처방 알림, 배송 알림 등의 아웃바운드 알림

2. 고급 캐스케이드

동일한 모듈형 아키텍처이지만, 이제 여러 구성 요소가 더 풍부한 문맥을 바탕으로 작동합니다. 이는 Expressive Mode를 ElevenAgents에 구현한 방식입니다.

Scribe v2 Realtime STT 모델은 대화의 이전 문맥을 활용해 빠르고 정확한 전사를 생성합니다. LLM은 텍스트를 바탕으로 TTS에 무엇을 말할지뿐 아니라 어떻게 말할지도 지시합니다. 예를 들어 "안심시키는 어조로", "강조해서", "긴박하게"와 같이 대화 전반에 걸쳐 톤을 동적으로 조정합니다. 턴테이킹 시스템도 동일한 신호를 활용해 에이전트가 언제 응답하고 언제 상대에게 차례를 넘길지 판단할 수 있게 합니다. 음성 모델은 구성 요소 간 네트워크 홉 없이 단일 스택에 함께 배치되므로 지연 시간이 낮게 유지됩니다.

이 아키텍처는 기본 캐스케이드의 모든 요소, 즉 완전한 투명성, 텍스트 계층 가드레일, 구성 요소 교체 가능성, 도메인 튜닝, 사용 가능한 가장 강력한 도구 호출 및 추론 모델에 대한 접근성을 유지합니다. 여기에 크게 향상된 운율과 지연 시간, 턴테이킹을 더합니다. 팀은 새 프런티어 LLM이 출시된 그 주에 통합하거나, 다른 구성 요소를 재구축하지 않고도 의료용 STT를 의료 전문 용어에 맞게 파인튜닝할 수 있습니다.

사용 사례 예시:

• 고객 지원: 금융 서비스 분야에서 청구 금액 이의 제기 통화 시 공감하는 응대와 엄격한 컴플라이언스 가드레일, 전체 상호작용 로깅을 결합
• 적절한 긴급성, HIPAA 준수 흐름, 의료 용어에 맞게 도메인 튜닝된 음성 인식으로 환자 전화를 분류하는 의료 접수 담당자
• 체계적인 플레이북을 따르고 CRM에 업데이트를 반영하면서도 따뜻하고 설득력 있는 톤을 유지하는 영업 어시스턴트

3. 하이브리드 캐스케이드 및 융합

일부 아키텍처는 먼저 텍스트로 변환하는 대신 입력 음성의 음향 특성(발음, 감정, 톤)을 임베딩으로 LLM에 직접 전달합니다. TTS는 모듈형으로 유지됩니다.

이를 통해 LLM은 단순히 무엇을 말했는지가 아니라 어떻게 말했는지에 관한 더 풍부한 입력을 얻으며, 이는 특정 애플리케이션에서 가치가 있습니다. 융합된 ASR+LLM 블록은 중간 표현이 사람이 읽을 수 있는 것이 아닌 임베딩이므로, 명확한 텍스트 전달 방식보다 감사하기가 어렵습니다. 또한 LLM을 쉽게 교체할 수 없어 추론 및 도구 호출 기능이 융합 블록이 기반으로 삼은 모델에 제한됩니다.

사용 사례 예시:

• 학습자가 어떻게 말하는지를 듣는 것이 무엇을 말하는지만큼 중요한 언어 학습 및 발음 코칭
• 좌절감을 감지하는 것이 중요하지만 작업 자체는 단순한, 복잡도가 낮은 톤 민감형 지원

4. 순차적 융합

하나의 멀티모달 모델이 한 번에 한 턴씩 인식, 추론, 생성을 처리합니다.

운율은 뛰어날 수 있습니다. 음성이 텍스트로 분해되지 않으므로 모델은 속도, 억양, 감정 단서를 자연스럽게 보존합니다. 짧은 대화는 놀라울 정도로 유연하게 들릴 수 있습니다.

하지만 텍스트 계층이 없으면 가드레일 적용 능력이 제한되고, 디버깅을 위한 중간 출력도 제한적이며, 더 나은 LLM으로 교체하거나 도메인에 맞게 STT를 파인튜닝할 유연성도 낮습니다. 추론 코어는 프런티어 LLM보다 경량인 경향이 있어 복잡한 도구 호출과 여러 단계의 작업 성능이 떨어집니다. 복잡한 문제 해결이 필요한 작업에서는 운율만으로 충분하지 않습니다.

사용 사례 예시:

• 표현력이 참여도를 이끌고 컴플라이언스 요구사항이 최소한인 개인 동반자, 엔터테인먼트 챗봇, 애플리케이션

5. 듀플렉스 융합

입력과 출력이 동시에 처리되며, 모델은 듣는 동시에 말합니다. 실제 겹치는 발화와 자연스러운 턴 전환으로 짧은 상호작용을 매우 자연스럽게 느끼게 할 수 있습니다.

또한 가장 제어하기 어려운 아키텍처이며, 가드레일을 적용하기가 매우 어렵고, 혼선은 예측 불가능한 오류를 유발합니다. 검사, 로깅, 디버깅은 극히 어렵고, 시스템은 대체로 폐쇄적이어서 구성 요소 교체, 도메인 튜닝, 맞춤 설정의 선택지가 거의 없습니다. 동시 처리로 인해 복잡한 로직에 할당할 용량이 줄어들기 때문에 추론 및 도구 사용은 순차적 융합 모델보다도 더 제한적입니다. 짧은 상호작용을 자연스럽게 만드는 바로 그 동시 처리는 긴 대화를 불안정하게 만듭니다.

사용 사례 예시:

• 예측 불가능한 동작이 허용되는 실험적 동반자 앱, 소셜 음성 플랫폼, 연구 데모

사용 사례에 적합한 아키텍처 선택하기

적합한 아키텍처는 애플리케이션의 요구사항에 따라 달라집니다. 자연스럽게 들리는 음성이 핵심 기능인 경험을 구축한다면, 프런티어급 추론, 가드레일, 투명성에서 타협할 의향이 있을 때 융합 아키텍처는 실질적인 강점을 제공합니다. 융합 모델은 운율에서 앞서지만, 고급 캐스케이드 시스템은 매 분기 그 격차를 좁히고 있습니다. 반면 융합 모델은 아키텍처 수준의 한계로 인해 복잡한 추론이나 신뢰성 측면에서 의미 있는 진전을 이루지 못했습니다.

대부분의 기업과 정부 기관에 가장 적합한 아키텍처는 뛰어난 음질과 함께 성능, 맞춤 설정 가능성, 신뢰성, 대규모 배포 준비성을 모두 갖춘 아키텍처입니다. 그래서 ElevenLabs는 ElevenAgents를 고급 캐스케이드 아키텍처로 구축하고, Expressive Mode와 최고 수준으로 공동 최적화된 음성 인식 및 텍스트 음성 변환 모델에 투자했습니다. 이를 통해 팀은 에이전트를 구축하여 자연스럽고 사람 같은 음성과 높은 수준의 지능, 신뢰성, 제어 기능을 결합할 수 있습니다.

AI 에이전트가 고객 지원, 교육, 개인 비서 등 더 다양한 분야로 확대됨에 따라, 성공하는 에이전트는 각자의 특정 애플리케이션에 맞춰 설계된 아키텍처를 기반으로 구축될 것입니다.