엔터프라이즈 지식을 보이스 에이전트에 적용하기

조직에서 음성 에이전트를 도입해 직원과 고객을 지원하면서, 에이전트가 의존하는 정보의 품질은 성능을 좌우하는 핵심 요소가 됩니다. 에이전트는 자체적으로도 뛰어난 추론을 할 수 있지만, 회사별 정책, 제품 세부 정보 또는 내부 절차를 반영해야 한다면 신뢰할 수 있고 체계적으로 정리된 지식에 접근할 수 있어야 합니다.

에이전트 지식 베이스는 이러한 기반과 전문성을 제공합니다. 문서, 정책, 기술 참조 자료, 제품 사양, 지원 자료 및 기타 내부 리소스를 저장합니다. 효과적으로 활용하려면 콘텐츠를 선별하고 정리하며 구조화해야 합니다. 그래야 에이전트가 불완전하거나 오래된 일반 모델 지식에 의존하지 않고 정확하고 근거 있는 답변을 제공할 수 있습니다.

이 가이드에서는 에이전트 배포 환경에서 엔터프라이즈 지식 베이스를 관리하기 위한 실용적인 전략을 소개합니다. 이를 통해 음성 에이전트는 크고 다양한 문서 컬렉션을 활용할 때도 일관되게 성능을 발휘할 수 있습니다.

음성 에이전트가 지식 베이스에 접근하는 방법

ElevenLabs Agents 플랫폼에서 지식 베이스를 직접 구성할 수 있습니다. 해당 콘텐츠는 대화 중 에이전트에서 사용할 수 있습니다.

플랫폼은 이 콘텐츠를 사용하는 두 가지 방식을 제공합니다:

• 컨텍스트에 직접 포함: 규모가 작은 지식 베이스의 경우 콘텐츠가 모델의 컨텍스트 윈도우에 직접 삽입됩니다. 지연 시간을 최소화하면서 즉시 접근할 수 있으며, 작은 지식 베이스에 가장 적합합니다.
• 검색 증강 생성(RAG): 지식 베이스가 컨텍스트에 담기에는 너무 큰 경우, 시스템은 대신 이를 검색하고 사용자 쿼리에 따라 가장 관련성 높은 섹션만 가져옵니다.

RAG가 효과적인 경우와 그렇지 않은 경우

직접 삽입과 RAG 중 무엇을 선택할지는 주로 지식 베이스의 크기에 따라 결정됩니다.

약 200만 단어(약 260만 토큰)에 달하는 1,000개의 문서로 구성된 "제품 매뉴얼 라이브러리"를 예로 들어 보겠습니다. 이 경우 직접 삽입은 대부분의 고속 LLM의 컨텍스트 한도를 초과하므로 RAG가 활성화됩니다. 따라서 관련성 있는 일부 내용만 가져오므로, 전체 지식 베이스 크기와 관계없이 컨텍스트를 관리 가능한 수준으로 유지할 수 있습니다.

반대로 4페이지 분량의 정책 문서(약 3,000토큰)라면 직접 삽입이 더 빠르고 간단합니다. RAG는 불필요한 지연 시간을 추가할 수 있습니다. 

ElevenLabs 플랫폼은 이를 자동으로 처리합니다. 지식 베이스가 직접 포함보다 검색이 더 효율적인 규모에 도달해야만 RAG 활성화 옵션을 사용할 수 있습니다.

효과적인 지식 베이스는 문서 준비에서 시작됩니다

엔터프라이즈에 크고 다양한 내부 문서 기반이 있다면, 첫 단계는 구현이 아니라 선별입니다. 훌륭한 소스는 훌륭한 답변을 만들지만, 품질이 낮은 소스는 오류와 환각을 유발합니다.

구현 전에 선별하세요. 오래된 초안, 대체된 버전, 관련 없는 자료는 보관 처리하거나 제거하세요. 고객 문의에 답하는 데 사용하면 안 되는 문서라면 지식 베이스에 포함해서도 안 됩니다. 이러한 선별을 통해 정보 소스의 신뢰성을 유지하고 검색 시 노이즈를 줄일 수 있습니다.

도메인별로 정리하세요. 남은 문서는 HR 정책, 제품 문서, 법적 계약, 기술 매뉴얼 또는 고객 지원 절차처럼 구분이 명확하고 논리적인 카테고리로 구조화하세요. 이러한 도메인 구성은 멀티 에이전트 워크플로를 ElevenLabs 플랫폼에서 구현할 때 매우 중요합니다. 이 환경에서는 전문화된 에이전트가 특정 지식 영역을 처리합니다.

양보다 질. 잘 선별된 고품질 문서 몇 개가 품질이 제각각인 수많은 파일보다 더 좋은 성과를 냅니다. 각 도메인 내에서 완전성, 정확성, 관련성에 집중하세요. 깔끔하게 정리된 데이터로 시작하는 것은 단순한 모범 사례가 아닙니다. 사용자에게 만족을 주는 에이전트와 관련 없거나 모순된 답변으로 사용자를 좌절시키는 에이전트를 가르는 차이입니다.

지식 베이스 구현 전략

지식과 접근 패턴을 갖추었다면, 다음으로는 지식 베이스에 효과적으로 접근할 수 있도록 에이전트 아키텍처를 어떻게 구성할지 결정해야 합니다. 조직은 지식의 규모와 요구사항에 따라 단순한 구성부터 복잡한 구성까지, ElevenLabs Agents 플랫폼에서 직접 구현할 수 있는 5가지 아키텍처 방식을 선택할 수 있습니다.

1. 단일 에이전트 지식 베이스

가장 간단한 구현 방식은 지식 베이스를 단일 에이전트에 직접 연결하는 것입니다. 선별한 문서를 ElevenLabs Agent 플랫폼에 업로드해 지식 베이스를 만들고, 구성 설정에서 에이전트에 할당하세요. 워크플로, 라우팅 또는 외부 도구가 필요하지 않습니다. 이 방식은 가장 빠르게 가치를 실현할 수 있으며, HR 정책 전용, 제품 문서 전용 또는 단일 제품군의 고객 지원처럼 범위가 명확한 사용 사례에 이상적입니다.

규모가 커지면 한계가 나타납니다. 지식 베이스가 매우 크거나 다양성이 높으면 성능이 저하될 수 있습니다. 전문화가 없으면 에이전트가 모든 문서를 검색하므로, 지식이 매우 다른 주제에 걸쳐 있을 때 관련성이 낮은 결과를 가져올 수 있습니다. 지식 베이스의 다양성으로 인해 정확도가 떨어진다면 멀티 에이전트 워크플로로 발전시킬 시점입니다.

2. 멀티 에이전트 지식 분리

크고 다양한 문서 컬렉션에는 멀티 에이전트 워크플로 아키텍처가 효율적인 확장 방식을 제공합니다. 오케스트레이션 에이전트가 들어오는 질문을 분석해 각 도메인에 집중된 지식 베이스를 보유한 전문 에이전트로 라우팅합니다. 사용자가 "캘리포니아주의 육아휴직 정책은 무엇인가요?"라고 물으면, 시스템은 이를 HR 관련 질문으로 식별하고 HR 문서에만 접근할 수 있는 HR 전문 에이전트로 라우팅합니다.

구현하려면 도메인별로 별도의 지식 베이스를 만들고, 전문화된 노드로 워크플로를 구축하며, 라우팅 조건을 구성해야 합니다. 작고 집중된 컨텍스트는 정확도를 높이고 지연 시간을 줄이며, 각 영역이 독립적으로 업데이트되므로 도메인 분리는 유지 관리도 간소화합니다. 이 방식은 여러 주제 영역에 걸쳐 에이전트를 배포하는 엔터프라이즈에 적합합니다.

3. 하이브리드 접근 방식: 탐색에는 지식 베이스, 데이터에는 도구

이 패턴은 이해와 조회를 분리합니다. 지식 베이스는 용어를 식별하고 지식 베이스에 문서로 추가된 시스템 식별자에 매핑하며, 웹훅 도구는 신뢰할 수 있는 소스에서 최신 데이터를 가져옵니다. 

예를 들어 "내 Premium Plus 플랜의 세부 정보는 무엇인가요?"라는 질문을 받으면, 에이전트는 지식 베이스를 사용해 플랜 ID PLAN_001을 식별한 후 라이브 데이터베이스에서 최신 가격과 기능을 조회하는 도구를 호출합니다.

사실이 LLM 생성이 아닌 데이터베이스에서 나오므로 정확성을 보장하고, 현재 상태를 반영하는 실시간 데이터를 제공하며, 기록된 도구 호출을 통해 감사 추적도 생성합니다. 문서는 개념을 설명하지만 데이터베이스는 최신 사실을 보유하는 고객 지원, 계정 관리, 이커머스처럼 문서 이해와 구조화된 데이터 검색이 모두 필요한 경우에 적합합니다.

4. 외부 벡터 데이터베이스

조직은 자체 벡터 데이터베이스(Pinecone, Weaviate, Qdrant)를 관리하고 맞춤형 웹훅 도구를 통해 이를 노출할 수 있습니다. 청킹, 임베딩, 검색 알고리즘을 완전히 제어할 수 있지만, 인프라 관리에 따른 운영 부담과 외부 API 호출로 인한 추가 지연 시간이 발생합니다. 유연성을 높일 수 있지만 운영 부담과 외부 지연 시간도 커집니다. 

5. 듀얼 브레인 아키텍처

일부 엔터프라이즈는 이미 자체적인 미세 조정 LLM을 유지하고 있으며, 이를 연결하는 가장 효과적인 방법은 ElevenLabs Agent 플랫폼에 직접 연결하는 것(맞춤형 LLM) 또는 듀얼 브레인 아키텍처를 활용하는 것입니다.

듀얼 브레인 아키텍처(두 LLM이 활성화됨)는 일반적으로 맞춤형 LLM이 실시간 대화를 진행하기에는 너무 느린 경우에 사용됩니다. 더 깊은 추론이나 추가 컨텍스트가 필요한 경우, 에이전트는 더 빠른 LLM으로 구동되며 이 LLM은 입력을 위해 고객의 맞춤형 LLM을 호출할 수 있습니다. 이후 해당 입력은 컨텍스트 업데이트를 통해 대화에 추가됩니다.

이러한 호출은 비동기식으로 이루어지므로 백엔드에서 더 무거운 연산을 수행하는 동안에도 대화는 자연스럽게 이어집니다. 이 접근 방식은 엔터프라이즈가 기존 AI 인프라를 기반으로 구축할 수 있도록 합니다. 

결론

효과적인 음성 에이전트는 명확하고 체계적으로 정리된 지식에 의존합니다. 엔터프라이즈 정보가 구조화되어 있고 정확하며 에이전트가 쉽게 탐색할 수 있으면, 근거 있고 일관된 에이전트 응답을 제공하는 데 활용할 수 있는 신뢰할 만한 소스가 됩니다. 

ElevenLabs 플랫폼은 원활하게 함께 작동하도록 설계된 기본 지식 베이스 관리, 멀티 에이전트 워크플로, 웹훅 통합 및 포괄적인 API를 제공합니다. 깔끔한 데이터와 적절한 아키텍처로 신중하게 구현하면 자연스러운 대화를 통해 엔터프라이즈 전문 지식을 활용할 수 있습니다. 제대로 구현하면 이는 단순한 구현 세부 사항이 아니라 운영상의 이점이 됩니다.

방법: 문서 업로드 확장

업로드 전에 통합하세요. 개별 파일 500개를 업로드하는 대신, 하나의 도메인에 속한 모든 문서를 단일 파일로 병합하세요. 이렇게 하면 관리 복잡성이 줄고 에이전트 구성이 간소화되며, 관련 콘텐츠를 함께 유지해 검색 성능도 향상됩니다.

전략적으로 문서를 그룹화하세요 — 제품군, 지역, 부서 또는 기능별로 분류합니다. 통합된 각 지식 베이스는 하나의 에이전트(단일 에이전트) 또는 하나의 전문 에이전트 노드(멀티 에이전트 워크플로)에 매핑됩니다. 

ElevenLabs API를 활용하세요 URL, 텍스트 또는 파일에서 콘텐츠를 업로드할 수 있습니다. 소스 문서가 변경될 때마다 통합과 업데이트가 자동으로 이루어지도록 업로드를 CI/CD 파이프라인에 통합하세요.

방법: 자동화된 지식 새로 고침

문서 저장소를 모니터링하세요 (Git, SharePoint, CMS). 변경 사항이 감지되면 자동 재처리를 실행해 업데이트된 문서를 통합하세요.

API를 사용해 지식 베이스를 프로그래밍 방식으로 업데이트하세요. 일반적인 워크플로는 다음과 같습니다. 문서 업데이트 → CI/CD 파이프라인 실행 → 문서 통합 → API를 호출해 지식 베이스 교체 → 에이전트가 즉시 업데이트된 정보에 접근

문서를 코드처럼 관리하세요. 코드 배포에 적용하는 것과 동일한 DevOps 원칙을 지식 베이스 업데이트에도 적용하세요. 플랫폼의 API 우선 아키텍처는 기존 파이프라인과의 통합을 간편하게 하며, 수동 개입 없이 정확성과 규정 준수를 유지합니다.