계단식 vs 융합형 모델: 아키텍처가 엔터프라이즈급 보이스 에이전트의 기준을 결정합니다

대부분의 사람들은 음성 에이전트가 캐스케이드 또는 퓨즈드 아키텍처 중 하나로 구축된다고 생각합니다. 실제로 에이전트는 두 방식 사이의 스펙트럼 위에서 설계되며, 애플리케이션에 따라 일반적으로 5가지 아키텍처가 사용됩니다.

에이전트의 아키텍처는 프로덕션 환경에서 안정적으로 작동하고, 구체적인 비즈니스 요구사항에 맞게 조정되며, 대화에서 자연스럽게 들리는 능력을 좌우합니다. OpenAI의 Realtime 모델 같은 퓨전 기반 아키텍처는 짧은 대화에서 놀랄 만큼 생생하게 들릴 수 있습니다. 하지만 규정 준수 가드레일을 적용하거나, 실패한 응답을 디버깅하거나, 다음 달에 출시될 더 강력한 LLM으로 교체해야 할 때 단일 퓨즈드 네트워크는 선택의 여지가 거의 없습니다.

ElevenLabs에서는 고급 캐스케이드 기반 아키텍처를 사용합니다. 높은 수준의 지능과 신뢰성을 위해 음성 인식, 추론, 음성 생성에 특화된 구성 요소를 활용합니다. 여기에 문맥적 운율, 저지연 최적화, 지능형 턴 테이킹을 더해 대화가 자연스럽게 흐르도록 합니다. 함께 일하는 기업과 정부 기관은 사실적으로 들리면서도 복잡한 작업을 프로덕션 환경에서 신뢰하고 맡길 수 있는 에이전트를 필요로 하기 때문에 이러한 방식으로 구축했습니다. 

이 글에서는 5가지 주요 아키텍처와 각 방식의 장점, 한계, 그리고 핵심 워크플로에 배포되는 에이전트의 기반을 바라보는 ElevenLabs의 관점을 살펴봅니다.

아키텍처를 선택할 때 팀이 평가하는 요소

팀이 일반적으로 던지는 질문은 세 가지 범주로 나뉩니다.

복잡한 작업을 처리할 수 있나요?

• 추론 및 모델 유연성: 사용 사례에 맞는 최적의 모델을 선택하고, 가장 강력한 LLM을 포함해 더 나은 옵션이 나오면 업그레이드할 수 있나요?
• 에이전트 로직: 에이전트가 따를 대화 흐름, 의사 결정 규칙, 에스컬레이션 경로를 정의하고 제어할 수 있나요?
• 도구 사용: 아키텍처가 다단계 도구 호출과 외부 시스템 통합을 지원할 수 있나요?

사람처럼 들리고 느껴지나요?

• 운율: 에이전트가 자연스러운 리듬, 억양, 감정적 톤을 전달하나요?
• 지연 시간: 응답 속도가 대화처럼 느껴질 만큼 빠른가요?
• 턴 테이킹: 에이전트가 언제 말하고, 멈추고, 상대에게 발언권을 넘길지 알 수 있나요?

프로덕션 환경에서 신뢰할 수 있나요?

• 신뢰성: 에이전트가 예측 가능하고 일관되게 작동하나요, 아니면 시간이 지날수록 벗어나나요?
• 가드레일: 아키텍처가 의도하지 않은 응답이나 적대적 사용자를 막는 보호 장치를 적용할 수 있나요?
• 투명성: 아키텍처가 중간 출력을 생성하나요, 아니면 블랙박스인가요?

캐스케이드와 퓨즈드 아키텍처의 트레이드오프

캐스케이드 기반 아키텍처는 특화된 구성 요소를 연결해 구축합니다. 음성 텍스트 변환 (STT), 대규모 언어 모델, 그리고 텍스트 음성 변환 (TTS)입니다. 각 단계는 독립적으로 최적화, 테스트, 업그레이드할 수 있습니다. 

캐스케이드 아키텍처

이러한 모듈성이 캐스케이드 아키텍처를 대부분의 엔터프라이즈급 에이전트의 기반으로 만듭니다. 모든 단계에서 검사 가능한 출력이 생성됩니다. 즉, STT와 LLM 사이, LLM과 TTS 사이에 사람이 읽을 수 있는 텍스트가 남습니다. 텍스트 계층에서 가드레일을 적용할 수 있고, 음성 모델을 수정하지 않고도 최신 프런티어 LLM을 통합할 수 있으며, 문제가 발생하면 일반적으로 원인을 식별할 수 있습니다.

캐스케이드 아키텍처에 대한 오랜 비판은 운율적 단서를 잃는다는 점입니다. 음성은 텍스트로 축소되고, 억양, 리듬, 감정은 출력 단계에서 다시 구성해야 합니다. 명시적 모델링을 통해 이러한 단서를 일부 복원할 수는 있지만, 퓨즈드 접근 방식만큼 자연스럽게 포착되지는 않습니다. 지연 시간과 턴 테이킹 같은 다른 요소는 대체로 두 접근 방식 모두에서 비슷한 수준으로 최적화할 수 있습니다.

퓨즈드 모델

퓨즈드 아키텍처는 근본적으로 다른 접근 방식을 취합니다. 인식, 추론, 생성이 모두 하나의 멀티모달 네트워크 내부에서 이루어집니다. 오디오는 입력되고 출력되며, 그 사이에 검사 가능한 계층은 없습니다.

중간 단계가 없다는 점은 장점이자 한계입니다. 퓨즈드 아키텍처는 음성이 텍스트로 분해되지 않으므로 운율적 단서를 자연스럽게 보존할 수 있습니다. 하지만 가드레일 적용, 개별 구성 요소 교체, 디버깅을 위한 중간 출력 검사 능력은 제한적입니다. 또한 산업별 용어에 맞춰 STT를 미세 조정하거나, 더 강력한 추론과 도구 호출을 위해 다른 LLM을 통합하는 데도 제약이 있습니다. 시스템은 하나의 네트워크이므로, 팀은 기본 제공되는 추론 역량에 제한됩니다. 현재 이는 복잡한 작업에서 프런티어 LLM과 경쟁할 수 없는 경량 코어를 의미합니다.

5가지 아키텍처

1. 기본 캐스케이드

오디오를 텍스트로 변환하고, LLM이 텍스트 답변을 생성하며, TTS가 이를 음성으로 읽습니다. 모든 단계가 일반 텍스트로 작동하므로 모든 것을 확인하고, 테스트하고, 제어할 수 있습니다.

신뢰성 측면의 장점은 명확합니다. 텍스트 계층의 가드레일, 결정론적 대화 흐름, 완전한 감사 추적을 제공합니다. LLM은 독립형 구성 요소이므로 가장 강력한 추론 또는 도구 호출 기능을 제공하는 프런티어 모델과 에이전트를 연결할 수 있고, 더 나은 모델이 출시되는 즉시 업그레이드할 수 있습니다. 약점은 대화 품질입니다. 문맥적 TTS가 없으면 에이전트는 기능적으로 들리지만 단조롭습니다. 감정에 맞춰 조정하거나 운율을 다양하게 표현하지 못하므로 계정 잔액을 읽어주는 용도에는 적합하지만, 불만을 가진 고객을 응대하기에는 부족합니다.

사용 사례:

• 통신 및 공공 서비스 분야의 IVR 대체
• SaaS 온보딩을 위한 FAQ 처리
• 친근함보다 일관성이 더 중요한 예약 확인, 처방 알림, 배송 알림 등의 아웃바운드 알림

2. 고급 캐스케이드

동일한 모듈형 아키텍처이지만, 이제 여러 구성 요소가 더 풍부한 문맥을 활용해 작동합니다. 이는 Expressive Mode를 ElevenAgents에 구축한 방식입니다.

Scribe v2 Realtime STT 모델은 이전 대화 문맥을 바탕으로 빠르고 정확한 전사를 제공합니다. LLM은 이 텍스트를 바탕으로 TTS에 무엇을 말할지만이 아니라 어떻게 말할지도 지시합니다. 예를 들어 "안심시키는 어조로", "강조해서", "긴급하게"처럼 대화 전반에 걸쳐 톤을 동적으로 조정합니다. 턴 테이킹 시스템도 동일한 신호를 활용하여 에이전트가 언제 응답하고 언제 발언권을 넘길지 판단할 수 있게 합니다. 음성 모델은 구성 요소 간 네트워크 홉 없이 하나의 스택에 함께 배치되므로 지연 시간이 낮게 유지됩니다.

이 아키텍처는 기본 캐스케이드의 모든 요소, 즉 완전한 투명성, 텍스트 계층 가드레일, 구성 요소 교체 가능성, 도메인 튜닝, 그리고 가장 강력한 도구 호출 및 추론 모델에 대한 접근성을 유지합니다. 여기에 한층 향상된 운율과 지연 시간, 턴 테이킹을 더합니다. 팀은 출시된 주에 새 프런티어 LLM을 통합하거나 의료 분야 STT를 의료 전문 용어에 맞게 미세 조정할 수 있으며, 다른 구성 요소를 다시 구축할 필요가 없습니다.

사용 사례:

• 분쟁 청구 관련 통화에서 공감하는 어조를 전달하면서 엄격한 규정 준수 가드레일과 전체 상호작용 로깅을 결합하는 금융 서비스 고객 지원
• 적절한 긴급도, HIPAA 준수 흐름, 의료 용어에 맞춘 도메인 특화 음성 인식으로 환자 전화를 분류하는 의료 접수 담당자
• 구조화된 플레이북을 따르고 CRM에 업데이트를 전송하면서 따뜻하고 설득력 있는 톤을 유지하는 영업 어시스턴트

3. 하이브리드 캐스케이드 및 퓨즈드

일부 아키텍처는 먼저 텍스트로 변환하는 대신, 입력 음성의 음향 특성(발음, 감정, 톤)을 임베딩으로 LLM에 직접 전달합니다. TTS는 모듈형으로 유지됩니다.

이 방식은 LLM에 무엇을 말했는지뿐 아니라 어떻게 말했는지에 관한 더 풍부한 입력을 제공하며, 이는 특정 애플리케이션에서 유용합니다. 중간 표현이 사람이 읽을 수 없는 임베딩이므로, 퓨즈드 ASR+LLM 블록은 깔끔한 텍스트 전달 방식보다 감사하기 어렵습니다. 또한 LLM을 쉽게 교체할 수 없으므로 추론 및 도구 호출 역량은 퓨즈드 블록이 기반으로 삼은 모델에 제한됩니다.

사용 사례:

• 학습자가 어떻게 말하는지를 듣는 것이 무엇을 말하는지만큼 중요한 언어 학습 및 발음 코칭
• 불만 감지에는 중요하지만 작업 자체는 단순한, 낮은 복잡도의 톤 민감형 지원

4. 순차형 퓨즈드

단일 멀티모달 모델이 한 번에 한 턴씩 인식, 추론, 생성을 처리합니다.

운율 표현력이 뛰어날 수 있습니다. 음성이 텍스트로 분해되지 않으므로 모델은 속도, 억양, 감정적 단서를 자연스럽게 보존합니다. 짧은 대화는 놀랄 만큼 유려하게 들릴 수 있습니다.

하지만 텍스트 계층 없이 가드레일을 적용하는 능력은 제한적이고, 디버깅을 위한 중간 출력도 제한되며, 더 나은 LLM으로 교체하거나 도메인에 맞게 STT를 미세 조정할 유연성도 부족합니다. 추론 코어는 프런티어 LLM보다 경량인 경향이 있어 복잡한 도구 호출과 다단계 작업의 성능이 떨어집니다. 작업에 복잡한 문제 해결이 필요하다면 운율만으로는 충분하지 않습니다.

사용 사례:

• 표현력이 참여를 이끌고 규정 준수 요구사항이 최소인 개인 동반자, 엔터테인먼트 챗봇 및 애플리케이션

5. 듀플렉스 퓨즈드

입력과 출력이 동시에 처리되며, 모델은 듣는 동시에 말합니다. 이 방식은 실제 음성 겹침과 자연스러운 턴 전환을 통해 짧은 대화를 매우 자연스럽게 느끼게 할 수 있습니다.

또한 제어하기 가장 어려운 아키텍처로, 가드레일을 적용하기가 매우 어렵고 크로스토크는 예측할 수 없는 오류를 유발합니다. 검사, 로깅, 디버깅은 극도로 어렵고, 시스템은 대부분 폐쇄형이어서 구성 요소 교체, 도메인 튜닝, 맞춤화 옵션이 거의 없습니다. 동시 처리로 인해 복잡한 로직에 사용할 수 있는 여유가 줄어들기 때문에 추론과 도구 사용은 순차형 퓨즈드 모델보다도 더 제한됩니다. 그리고 짧은 대화를 자연스럽게 만드는 바로 그 동시 처리는 긴 대화를 불안정하게 만듭니다.

사용 사례:

• 예측 불가능한 동작이 허용되는 실험적 동반자 앱, 소셜 음성 플랫폼 및 연구 데모

사용 사례에 맞는 아키텍처 선택

적합한 아키텍처는 각 애플리케이션의 요구사항에 따라 달라집니다. 자연스럽게 들리는 음성이 핵심 기능인 경험을 구축한다면, 프런티어 수준의 추론, 가드레일, 투명성을 일부 포기하는 조건으로 퓨즈드 아키텍처의 실질적인 강점을 활용할 수 있습니다. 퓨즈드 모델은 운율 측면에서 앞서지만, 고급 캐스케이드 시스템은 매 분기 그 격차를 좁히고 있습니다. 반면 퓨즈드 모델은 아키텍처 수준의 한계로 인해 복잡한 추론이나 신뢰성 측면에서 의미 있는 진전을 이루지 못했습니다.

대부분의 기업과 정부 기관에 가장 적합한 아키텍처는 뛰어난 음질과 함께 높은 성능, 맞춤화 가능성, 신뢰성, 대규모 배포 준비성을 모두 갖춘 방식입니다. 그래서 ElevenAgents를 고급 캐스케이드 아키텍처로 구축하고 Expressive Mode와 동급 최고의 공동 최적화 모델인 음성 텍스트 변환 및 텍스트 음성 변환에 투자했습니다. 이를 통해 팀은 에이전트 구축을 통해 자연스럽고 사람 같은 음성과 높은 수준의 지능, 신뢰성, 제어 능력을 결합할 수 있습니다.

AI 에이전트가 고객 지원, 교육, 개인 비서 등으로 계속 확장됨에 따라, 성공하는 에이전트는 각자의 구체적인 애플리케이션에 맞춘 아키텍처를 기반으로 구축될 것입니다.