엔터프라이즈 지식을 보이스 에이전트에 적용하기

조직에서 Voice Agents를 도입해 직원과 고객을 지원하면서, 이러한 Agent가 의존하는 정보의 품질은 성능을 좌우하는 핵심 요소가 됩니다. Agent는 자체적으로도 뛰어난 추론 능력을 갖추고 있지만, 회사별 정책, 제품 세부 정보 또는 내부 절차를 반영해야 한다면 신뢰할 수 있고 체계적으로 구성된 지식에 접근할 수 있어야 합니다.

Agent 지식 베이스는 이러한 기반과 전문성을 제공합니다. 문서, 정책, 기술 레퍼런스, 제품 사양, 지원 자료 및 기타 내부 리소스를 저장합니다. 효과적으로 활용하려면 콘텐츠를 선별하고 정리하며 구조화해야 Agent가 불완전하거나 오래된 일반 모델 지식에 의존하지 않고 정확하고 근거 있는 답변을 생성할 수 있습니다.

이 가이드에서는 Agent 배포 환경에서 엔터프라이즈 지식 베이스를 관리하기 위한 실용적인 전략을 소개합니다. 이를 통해 대규모의 다양한 문서 컬렉션을 다루더라도 Voice Agents가 일관된 성능을 발휘할 수 있습니다.

Voice Agents가 지식 베이스에 액세스하는 방법

ElevenLabs Agents 플랫폼에서 지식 베이스를 직접 구성할 수 있습니다. 그러면 해당 콘텐츠를 대화 중에 Agent가 사용할 수 있습니다.

플랫폼은 이 콘텐츠를 사용하는 두 가지 모드를 제공합니다:

• 컨텍스트에 직접 포함: 소규모 지식 베이스의 경우 콘텐츠가 모델의 컨텍스트 창에 직접 삽입됩니다. 지연 시간을 최소화하면서 즉시 액세스할 수 있으며, 작은 지식 베이스에 가장 적합합니다.
• 검색 증강 생성(RAG): 지식 베이스가 컨텍스트에 담기에는 너무 큰 경우, 시스템은 이를 검색하고 사용자 쿼리를 기준으로 가장 관련성 높은 섹션만 가져옵니다.

RAG가 효과적인 경우와 그렇지 않은 경우

직접 삽입과 RAG 중 무엇을 선택할지는 주로 지식 베이스의 크기에 따라 결정됩니다.

총 약 200만 단어(약 260만 토큰)의 문서 1,000개로 구성된 "제품 매뉴얼 라이브러리"를 생각해 보세요. 이 경우 직접 삽입은 대부분의 빠른 LLM의 컨텍스트 한계를 초과하므로 RAG가 활성화됩니다. 따라서 관련 스니펫만 검색하므로 전체 지식 베이스 크기와 관계없이 컨텍스트를 관리 가능한 수준으로 유지할 수 있습니다.

반대로 4페이지 분량의 정책 문서(약 3,000토큰)라면 직접 삽입이 더 빠르고 간단합니다. RAG는 불필요한 지연 시간을 추가하게 됩니다. 

ElevenLabs 플랫폼은 이를 자동으로 처리합니다. 지식 베이스가 직접 포함보다 검색이 더 효율적인 규모에 도달해야 RAG 활성화 옵션을 사용할 수 있습니다.

효과적인 지식 베이스는 문서 준비에서 시작됩니다

엔터프라이즈에 크고 다양한 내부 문서 기반이 있다면 첫 단계는 구현이 아니라 선별입니다. 훌륭한 정보원은 훌륭한 답변을 만들지만, 부실한 정보원은 오류와 환각을 초래합니다.

구현 전에 선별하세요. 오래된 초안, 대체된 버전, 관련 없는 자료는 보관 처리하거나 제거하세요. 고객 질문에 답하는 데 사용해서는 안 되는 문서라면 지식 베이스에 포함해서도 안 됩니다. 이러한 선별을 통해 정보원을 신뢰할 수 있는 상태로 유지하고 검색 시 노이즈를 줄일 수 있습니다.

도메인별로 정리하세요. 남은 문서를 HR 정책, 제품 문서, 법적 계약, 기술 매뉴얼 또는 고객 지원 절차처럼 명확하고 논리적인 카테고리로 구성하세요. 전문 Agent가 특정 지식 영역을 처리하는 ElevenLabs 플랫폼의 멀티 Agent workflow를 구현할 때 이러한 도메인별 구성은 매우 중요합니다.

양보다 질. 고품질 문서 몇 개를 잘 선별한 컬렉션이 품질이 제각각인 대량의 파일보다 더 뛰어난 성능을 냅니다. 각 도메인 내 완전성, 정확성, 관련성에 집중하세요. 깔끔하게 정리된 데이터로 시작하는 것은 단순한 모범 사례가 아닙니다. 사용자를 만족시키는 Agent와 관련 없거나 모순된 답변으로 사용자를 좌절시키는 Agent를 가르는 차이입니다.

지식 베이스 구현 전략

지식과 액세스 패턴을 갖추었다면, 다음 질문은 지식 베이스에 효과적으로 액세스하도록 Agent 아키텍처를 어떻게 설정할지입니다. 조직은 지식 규모와 요구 사항에 따라 단순한 구성부터 복잡한 구성까지, ElevenLabs Agents 플랫폼에서 직접 구현할 수 있는 5가지 아키텍처 접근 방식을 선택할 수 있습니다.

1. 단일 Agent 지식 베이스

가장 간단한 구현 방식은 단일 Agent에 지식 베이스를 직접 연결하는 것입니다. 선별한 문서를 ElevenLabs Agent 플랫폼에 업로드하여 지식 베이스를 만들고 구성 설정에서 Agent에 할당하세요. workflow, 라우팅 또는 외부 도구가 필요하지 않습니다. 이 방식은 가장 빠르게 가치를 실현할 수 있으며, HR 정책만 다루는 경우, 제품 문서만 다루는 경우 또는 단일 제품 라인에 대한 고객 지원처럼 집중된 사용 사례에 적합합니다.

규모가 커지면 한계가 나타납니다. 지식 베이스가 매우 크거나 다양성이 높으면 성능이 저하될 수 있습니다. 전문화가 없으면 Agent는 모든 문서를 검색하므로 지식이 매우 다른 주제에 걸쳐 있을 때 관련성이 낮은 결과를 가져올 수 있습니다. 지식 베이스의 다양성으로 인해 정확도가 떨어지는 것이 보이면 멀티 Agent workflow로 발전시킬 시점입니다.

2. 멀티 Agent 지식 분리

대규모의 다양한 문서 컬렉션에는 멀티 Agent workflow 아키텍처가 효율적인 확장성을 제공합니다. 오케스트레이션 Agent가 들어오는 질문을 분석해 각 도메인에 맞는 집중형 지식 베이스를 가진 전문 Agent로 라우팅합니다. 사용자가 "캘리포니아의 육아휴직 정책은 어떻게 되나요?"라고 질문하면, 시스템은 이를 HR 관련 질문으로 식별하고 HR 문서에만 접근할 수 있는 HR 전문 Agent로 라우팅합니다.

구현하려면 도메인별로 별도의 지식 베이스를 만들고, 전문화된 노드로 workflow를 구축하며, 라우팅 조건을 구성해야 합니다. 더 작고 집중된 컨텍스트는 정확도를 높이고 지연 시간을 줄이며, 각 영역을 독립적으로 업데이트할 수 있어 도메인 분리는 유지 관리도 간소화합니다. 이 접근 방식은 여러 주제 영역에 걸쳐 Agent를 배포하는 엔터프라이즈에 적합합니다.

3. 하이브리드 접근 방식: 탐색에는 지식 베이스, 데이터에는 도구

이 패턴은 이해와 조회를 분리합니다. 지식 베이스는 용어를 식별하고 지식 베이스에 문서로 추가된 시스템 식별자에 매핑하며, webhook 도구는 신뢰할 수 있는 소스에서 최신 데이터를 가져옵니다. 

예를 들어 "내 Premium Plus 플랜의 세부 정보는 무엇인가요?"라는 질문을 받으면, Agent는 지식 베이스를 사용해 플랜 ID PLAN_001을 식별한 다음 현재 가격과 기능을 위해 라이브 데이터베이스를 쿼리하는 도구를 호출합니다.

사실이 LLM 생성이 아닌 데이터베이스에서 오므로 정확성이 보장되며, 현재 상태를 반영하는 실시간 데이터를 제공하고 기록된 도구 호출을 통해 감사 추적도 생성합니다. 문서가 개념을 설명하고 데이터베이스가 최신 사실을 보유하는 고객 지원, 계정 관리, 이커머스 등 문서 이해와 구조화된 데이터 검색이 모두 필요한 경우에 적합합니다.

4. 외부 벡터 데이터베이스

조직은 자체 벡터 데이터베이스(Pinecone, Weaviate, Qdrant)를 관리하고 커스텀 webhook 도구를 통해 연결할 수 있습니다. 청킹, 임베딩, 검색 알고리즘을 완전히 제어할 수 있지만, 인프라 관리에 따른 운영 오버헤드와 외부 API 호출에 따른 추가 지연 시간이 발생합니다. 유연성은 높아지지만 운영 오버헤드와 외부 지연 시간도 늘어납니다. 

5. 듀얼 브레인 아키텍처

일부 엔터프라이즈는 이미 자체적으로 미세 조정한 LLM을 운영하고 있으며, 이를 연결하는 가장 효과적인 방법은 ElevenLabs Agent 플랫폼에 직접 연결하는 것(커스텀 LLM) 또는 듀얼 브레인 아키텍처를 사용하는 것입니다.

듀얼 브레인 아키텍처(두 개의 LLM 활성화)는 일반적으로 커스텀 LLM이 실시간 대화를 지원하기에 너무 느린 경우에 사용됩니다. 더 깊은 추론이나 추가 컨텍스트가 필요한 경우, Agent는 고객의 커스텀 LLM을 호출해 입력을 받을 수 있는 더 빠른 LLM으로 구동되며, 이 입력은 컨텍스트 업데이트를 통해 대화에 추가됩니다.

이러한 호출은 비동기식이므로 백엔드에서 더 무거운 연산을 수행하는 동안에도 대화는 자연스럽게 이어집니다. 이 접근 방식을 통해 엔터프라이즈는 기존 AI 인프라를 기반으로 구축할 수 있습니다. 

결론

효과적인 Voice Agents는 명확하고 체계적으로 정리된 지식에 의존합니다. 엔터프라이즈 정보가 구조화되어 정확하고 Agent가 탐색하기 쉬우면, 근거 있고 일관된 Agent 응답을 제공하기 위해 활용할 수 있는 신뢰할 만한 정보원이 됩니다. 

ElevenLabs 플랫폼은 원활하게 함께 작동하도록 설계된 기본 제공 지식 베이스 관리, 멀티 Agent workflow, webhook 통합 및 포괄적인 API를 제공합니다. 깨끗한 데이터와 적절한 아키텍처를 바탕으로 신중하게 구현하면 엔터프라이즈 전문 지식을 자연스러운 대화를 통해 활용할 수 있습니다. 제대로 구현한다면 이는 단순한 구현 세부 사항이 아니라 운영상의 이점이 됩니다.

방법: 문서 업로드 확장

업로드 전에 통합하세요. 개별 파일 500개를 업로드하는 대신, 하나의 도메인에 속한 모든 문서를 단일 파일로 병합하세요. 관리 복잡성을 줄이고 Agent 구성을 간소화하며 관련 콘텐츠를 함께 유지해 검색 성능을 높일 수 있습니다.

문서를 전략적으로 그룹화하세요 제품 라인, 지역, 부서 또는 기능별로 그룹화하세요. 통합된 각 지식 베이스는 하나의 Agent(단일 Agent) 또는 하나의 전문 Agent 노드(멀티 Agent workflow)에 매핑됩니다. 

ElevenLabs API를 활용하세요 URL, 텍스트 또는 파일에서 콘텐츠를 업로드할 수 있습니다. 소스 문서가 변경될 때마다 통합과 업데이트가 자동으로 이루어지도록 업로드를 CI/CD 파이프라인에 통합하세요.

방법: 자동화된 지식 새로고침

문서 리포지터리를 모니터링하세요 (Git, SharePoint, CMS). 변경 사항이 감지되면 자동 재처리를 실행하여 업데이트된 문서를 통합하세요.

API를 사용해 프로그래밍 방식으로 지식 베이스를 업데이트하세요. 일반적인 workflow는 다음과 같습니다. 문서 업데이트 → CI/CD 파이프라인 실행 → 문서 통합 → API를 호출해 지식 베이스 교체 → Agent가 즉시 업데이트된 정보에 액세스

문서를 코드처럼 다루세요. 지식 베이스 업데이트에도 코드 배포와 동일한 수준의 DevOps 원칙을 적용하세요. 플랫폼의 API 우선 아키텍처를 통해 기존 파이프라인과 쉽게 통합할 수 있으며, 수동 개입 없이 정확성과 규정 준수를 유지할 수 있습니다.