음성 에이전트 기능: 메모리, 에스컬레이션 등

기존 전화 시스템은 스크립트화된 메뉴 기반 응답에 의존했습니다. 이로 인해 자연스러운 음성에 적응하거나 복잡한 워크플로 요청을 처리하는 능력이 제한됐습니다. 오늘날의 음성 에이전트는 실시간 음성 인식, 추론, 컨텍스트를 결합해 더욱 민첩한 음성 시스템을 구현하며 이를 훨씬 뛰어넘습니다.

현대적인 음성 에이전트는 고객을 인증하고, 시스템에서 고객 정보를 조회하며, 실시간 데이터를 바탕으로 적절한 답변을 제공하고, 상황을 이관해야 할 시점을 파악하는 등 다양한 작업을 수행할 수 있습니다. 이 모든 작업은 실시간 통화 중에 이루어지므로, 사용자가 상담원을 기다리기 위해 전화 대기열을 거칠 필요가 없습니다.

이 가이드에서는 AI 음성 에이전트 기능에 관한 6가지 질문에 답합니다. 발신자를 기억하는 방법, 불만을 처리하는 방법, 어떤 데이터로 학습하는지, 어떻게 개인화하는지, 민감한 데이터를 보호하는 방법, 그리고 고객 만족도(CSAT)에 어떤 영향을 미치는지를 다룹니다. 각 답변에서는 ElevenAgents가 실제로 이를 구현하는 방법을 설명합니다.

요약:

• 음성 에이전트는 실시간 음성 인식과 실시간 데이터 기반 추론을 결합하여 발신자 인증을 수행하고, 최신 정보로 답변하며, 누구도 전화 대기열로 연결하지 않고 통화 중 작업을 완료할 수 있습니다.
• 에이전트 메모리는 단일 통화와 반복 상호작용 전반에서 작동합니다. 동적 변수를 통해 통화 시작 시 CRM에서 고객 이력을 가져오고, 통화 후 웹훅을 통해 결과를 다시 기록합니다.
• 불만을 가진 발신자는 감정 감지와 실시간 디에스컬레이션으로 관리하며, 불만이 임계값을 넘거나 발신자가 상담원을 요청하면 사람 또는 전문 에이전트에게 이관할 수 있습니다.
• 에이전트는 PDF, Word, 텍스트, Markdown, HTML, EPUB 등 업로드된 콘텐츠로 지식을 구축하고, RAG를 사용해 관련 구절을 검색합니다. 작은 문서는 전체 컨텍스트에 유지됩니다.
• 개인화된 추천은 CRM 데이터, 실시간 요청, 도구 호출을 통한 통화 중 제품 조회를 결합합니다. 이를 통해 에이전트는 실제 재고 현황을 발신자의 이력과 비교할 수 있습니다.
• 구성 가능한 개인정보 설정으로 데이터 보존, 오디오 저장, 트랜스크립트 마스킹, 제로 보존 모드를 관리할 수 있으며, 엔터프라이즈 의료 배포에는 HIPAA 적용 자격이 제공됩니다.

음성 에이전트 기능이란 무엇인가요?

음성 에이전트는 고객과 실시간 음성 대화를 나눌 수 있는 인공 지능(AI) 시스템입니다. 의도와 상황의 맥락을 이해하고 고객을 대신해 작업을 완료한다는 점에서 기존 음성 기능을 뛰어넘습니다. 이 에이전트는 고객의 말을 듣고, 들은 내용을 바탕으로 추론하며, 요청을 완료하는 데 필요한 시스템을 참조한 뒤, 사람 고객 서비스 상담원과 비슷한 자연스러운 어조로 고객에게 응답합니다. 

음성 에이전트 기능이란 에이전트와 고객 간의 대화를 유용하게 만드는 구체적인 기능을 말합니다. 해당 역할을 얼마나 잘 수행할지 판단하기 위해 이러한 기능을 여러 범주로 나눌 수 있습니다.

• 메모리와 컨텍스트: 단일 통화 또는 동일 고객과의 여러 상호작용에 걸쳐 고객 정보를 유지하는 능력입니다.
• 어려운 상황과 대화 처리: 발신자가 불만을 느끼거나 혼란스러워하거나 결과를 받아들이지 않으려 할 때도 에이전트는 주제를 유지하고 정책을 따릅니다. 
• 콘텐츠 학습 기능: 에이전트는 일반적인 스크립트 대신 기존 사내 문서와 정책을 학습해 상호작용에 필요한 응답을 제공합니다.
• 고객 개인화: 에이전트는 일반적인 옵션 메뉴가 아니라 발신자에 따라 어조, 속도 또는 추천을 조정합니다. 
• 데이터 처리: 에이전트와 공유되는 정보는 어떤 데이터를 저장하는지, 기업이 얼마나 오래 보관하는지, 누가 접근할 수 있는지에 따라 관리됩니다. 
• 측정 가능한 성공 지표: 음성 에이전트가 문제를 해결하는지, 그리고 실제 상담원과 비교해 정확하게 해결하는지를 더 잘 판단할 수 있도록 내부 추적 기능을 제공하는 시스템입니다. 

이러한 음성 에이전트 기능을 통해 기업은 궁극적으로 고객 요구에 더 잘 맞도록 에이전트를 구성할 수 있습니다. 

음성 에이전트는 고객과의 과거 대화를 어떻게 기억하나요?

음성 에이전트에는 통화 간 내장 메모리가 없습니다. 통화 간 메모리는 세 가지 요소로 구성됩니다. 통화 시작 시 CRM 데이터를 주입하는 동적 변수, 이를 가져오는 대화 시작 웹훅, 결과를 다시 기록하는 통화 후 웹훅입니다. 단일 통화 내에서는 에이전트가 전체 대화 컨텍스트를 자동으로 유지합니다.

구체적인 아키텍처에 따라 음성 에이전트는 두 가지 수준에서 고객 메모리를 처리할 수 있습니다.

• 단일 통화 내: 에이전트는 대화 컨텍스트를 유지하고 세션 내에서 말한 모든 내용을 추적하므로, 고객이 통화 내내 같은 내용을 반복할 필요가 줄어듭니다.
• 여러 상호작용 전반: 이 메모리는 멀티채널 통합을 통해 구현됩니다. 에이전트는 통화 시작 시 회사 CRM 또는 데이터베이스에서 고객 이력을 불러오고, 상호작용 결과를 기록하여 다음 대화가 이력을 알고 있는 상태에서 시작되도록 합니다.

ElevenAgents에서는 대화 시작 시 동적 변수를 통해 컨텍스트를 주입합니다. 이 변수는 에이전트의 프롬프트, 메시지, 도구에 런타임 값을 주입합니다. 따라서 고객마다 별도의 에이전트를 만들지 않고도 사용자별 정보로 각 대화를 개인화할 수 있습니다. 발신자 이름, 계정 상태, 식별 정보, 과거 상호작용 이력을 대화가 시작될 때 음성 에이전트에 전달할 수 있습니다. 

수신 전화의 경우 ElevenAgents는 대화 시작 웹훅을 통해 회사 서버에서 초기 데이터를 가져오고, 에이전트가 컨텍스트를 불러오는 동안 엔드포인트가 반환한 JSON을 적용할 수 있습니다. 실시간 환경에서는 고객과 처음 연결되는 동안 플랫폼이 필요한 데이터를 가져옵니다. 이 과정은 에이전트가 병렬로 컨텍스트를 검토하는 동안 일반적인 벨소리나 대기 음악으로 나타날 수 있습니다. 

통화가 끝나면 흐름은 반대로 진행됩니다. 에이전트는 통화 후 웹훅 또는 기타 통화 도구를 통해 통화 결과를 CRM이나 지원 시스템으로 다시 전송합니다. 통화 중 발생한 일과 고객 후속 조치가 필요한 내용을 기록합니다. 고객과의 상호작용 기록이 음성 에이전트의 메모리를 지속적으로 유지합니다. 따라서 고객이 다음에 상호작용하는 에이전트나 실제 상담원은 대화 시작 전에 전체 배경 정보를 파악할 수 있습니다. 

음성 에이전트는 불만이 있거나 화가 난 고객을 어떻게 처리하나요?

불만을 느끼거나 화가 난 고객은 어떤 수준, 어떤 고객 서비스 환경에서나 발생할 수 있습니다. 음성 에이전트는 감지, 적응, 필요 시 에스컬레이션을 통해 이러한 상황을 능숙하게 처리합니다. 

음성 에이전트가 고객과의 어려운 상황을 헤쳐 나가는 방법은 다음과 같습니다.

• 불만 감지: 고객 반응은 감정 분석을 통해 가장 효과적으로 감지할 수 있습니다. 이 분석은 대화를 긍정, 부정 또는 중립으로 점수화합니다. 개별 대화에서는 각 사용자 응답을 부정에서 긍정으로 이어지는 점수 궤적에 따라 분석하므로, 대화가 어디서 잘못되었는지 확인할 수 있습니다. 주제 전반에 걸쳐 감지 결과를 집계하면 어떤 주제 영역이 발신자에게 가장 큰 불만을 일으키는지 파악하고 개선이 필요한 지점에 대한 데이터를 얻을 수 있습니다. ElevenLabs에서 제공하는 것과 같은 선도적인 음성 에이전트 모델을 사용하면 에이전트는 실시간 트랜스크립트에서 어조까지 이해하고 그에 맞게 대응할 수 있습니다.
• 실시간 적응: 디에스컬레이션 행동은 에이전트의 시스템 프롬프트에서 직접 정의할 수 있습니다. 이를 통해 발신자의 불만을 인정하고, 논쟁을 피하며, 응답을 대화 주제에 맞고 차분하게 유지하면서 해결 경로를 먼저 제시할 수 있습니다. 
• 상담원에게 에스컬레이션: 번호로 연결 도구는 정의된 조건이 충족되면 통화를 실제 상담원에게 넘깁니다. 일반적으로 발신자가 상담원을 요청하거나, 같은 불만을 두 번 반복하거나, 여러 차례 연속으로 감정이 부정적으로 유지되는 경우입니다. 이러한 조건을 시스템 프롬프트에 작성하세요. 에이전트는 발신자가 기다리는 동안 메시지를 재생하고, 통화를 받는 상담원에게는 별도의 요약을 전달할 수 있습니다. 따라서 상담원은 처음부터 다시 시작하지 않고 컨텍스트를 파악한 상태로 통화를 받을 수 있습니다. ElevenAgents는 에이전트 간 이관도 지원합니다. 이를 통해 발신자에게 실제 상담원이 아니라 다른 전문 지식이 필요할 때 대화를 전문 에이전트로 연결할 수 있습니다.

불만을 가진 고객을 처리하는 음성 에이전트 기능에서 가장 중요한 요소는 이관 경로입니다. 

음성 에이전트 학습에 사용할 수 있는 파일 형식은 무엇인가요?

현대적인 음성 에이전트는 전통적인 AI/LLM 방식으로 학습되지 않습니다. 대신 활용할 지식을 제공받습니다. 이러한 음성 에이전트에는 지식 기반을 참조하는 문서, 웹 페이지 또는 일반 텍스트 리소스가 제공되며, 에이전트는 통화 중 여기서 관련 구절을 검색합니다. 이 접근 방식은 검색 증강 생성(RAG)이라고 합니다. 이 방식으로 에이전트는 하나의 프롬프트로 제공할 수 있는 것보다 훨씬 많은 정보를 활용할 수 있습니다.

지식 기반에 정보를 추가하는 방법은 여러 가지입니다. 파일을 업로드하거나, 에이전트에 URL을 지정하거나, 텍스트를 직접 붙여넣으면 됩니다. ElevenAgents에서는 업로드 파일의 크기가 각각 최대 20MB이며, 다음 형식을 지원합니다. 

• .pdf 
• .docx 
• .txt 
• .md 
• .html 
• .epub

파일 형식은 검색 품질에 영향을 줍니다. Markdown, 일반 텍스트, DOCX는 깔끔하게 추출되며 RAG용 청크로 예측 가능하게 분할됩니다. 여러 열 레이아웃, 표 또는 스캔 페이지가 포함된 PDF는 추출 품질이 낮으므로 업로드 전에 변환해야 합니다. 

문서를 연결한 뒤 에이전트는 이를 두 가지 방식 중 하나로 사용합니다. 작은 문서는 전체 컨텍스트에 둘 수 있으며, 이 경우 전체 문서 텍스트가 매 턴 프롬프트에 유지됩니다. 두 번째 방법은 큰 문서를 RAG용으로 인덱싱하는 것입니다. 

이 과정에서는 각 질문과 가장 관련 있는 구절만 대화 시점에 검색됩니다. 예를 들어 추출된 텍스트가 250,000자 이내인 문서만 전체 컨텍스트로 사용할 수 있습니다. 그보다 큰 문서는 RAG를 거칩니다. RAG를 활성화하면 시스템이 자동으로 적절한 경로를 선택합니다.

음성 에이전트는 개인화된 제품 추천을 어떻게 제공하나요?

개인화된 제품 추천은 발신자가 음성 에이전트와 상호작용하는 시점의 여러 입력 정보를 결합해 이루어집니다. 이러한 정보에는 발신자가 누구인지, 무엇을 요청하는지, 무엇을 이용할 수 있는지가 포함됩니다. 에이전트는 동적 변수를 통해 전달된 CRM 데이터에서 발신자 정보를 파악합니다. 

또한 실시간 대화에서 요청을 파악하고, 도구 호출을 통해 제품 데이터를 조회하여 이용 가능한 항목을 확인합니다. 에이전트는 이 모든 정보를 종합해 충분한 정보를 전달받은 사람 상담원처럼 발신자에게 개인화된 옵션을 추천합니다. 

현실적인 음성 에이전트 환경에서 이것이 어떻게 작동하는지 더 잘 이해할 수 있도록 실제 통화 사례를 살펴보겠습니다. 

재방문 고객이 사용자 계정에 로그인할 수 없지만 구매를 원해 한 소매업체의 기술 지원팀에 전화합니다. 음성 에이전트가 이 통화를 개인화된 추천으로 전환하는 방식은 다음과 같습니다.

• 시작 시 컨텍스트 가져오기: 에이전트는 통화 시작 시 이미 가져온 정보이므로 발신자의 구매 이력과 기타 관련 정보를 알고 있습니다.
• 요청을 추천에 반영하기: 발신자가 필요한 사항을 설명하면 에이전트는 아무 정보 없는 상태에서 시작하지 않고 그 설명을 추천에 반영합니다.
• 통화 중 실시간 제품 데이터 조회: 에이전트는 학습 정보에 의존하지 않고 대화 중 제품 API를 호출해 현재 재고 수준과 가격을 확인합니다.
• 발신자에게 재고 현황 매칭: 재고가 있는 항목을 발신자의 설명 및 구매 이력과 비교합니다.
• 추천 및 주문 완료: 에이전트는 제품을 추천하고 요청 시 발신자를 다른 곳으로 이관하지 않고 주문을 완료합니다.

이 전체 대화는 도구 호출로 구동됩니다. 음성 봇은 이를 통해 제품 카탈로그나 주문 API 같은 외부 시스템에 접근한 후 해당 정보를 응답에 자연스럽게 반영할 수 있습니다. ElevenLabs의 도구 문서에서는 이러한 연결을 구성하는 방법을 다룹니다.

음성 에이전트가 민감한 고객 데이터를 처리할 수 있나요?

음성 에이전트는 보존 기간, 통화 오디오를 저장하지 않는 옵션, 대화 이력 마스킹, 의료와 같이 규제가 엄격한 산업을 위한 엄격한 보존 정책을 구성할 수 있는 제어 기능을 제공합니다. 

ElevenAgents에서는 이러한 모든 제어 기능을 개인정보 설정에서 구성합니다. 작동 방식은 다음과 같습니다.

• 보존: 대화 트랜스크립트와 오디오 녹음은 지정된 기간 동안만 저장됩니다. ElevenAgents는 기본적으로 트랜스크립트와 녹음을 2년간 보존하며, 0일부터 무제한까지 맞춤 설정할 수 있습니다. HIPAA 준수를 위해서는 최소 6년 보존을 권장합니다. HIPAA에 완전히 부합하려면 플랫폼에서 보호 대상 건강 정보(PHI)를 실제로 처리할 때 제로 보존 모드를 활성화해야 합니다. 즉, 웹훅을 통해 해당 6년치 기록을 자체 인프라에 안전하게 저장해야 합니다.
• 오디오 보존: 통화 오디오 녹음은 고객 보존 목적으로 유지하거나, 고객 오디오가 보존되지 않도록 완전히 비활성화할 수 있습니다. 오디오 녹음 저장을 비활성화하고 보존 정책을 0일로 설정하면 통화 직후 데이터가 즉시 삭제됩니다.
• 대화 이력 마스킹: 대화가 종료된 후 각 통화의 트랜스크립트와 오디오를 스캔하는 후처리 단계는 마스킹을 통해 민감한 고객 데이터를 보호하는 데 도움이 됩니다. 이 단계에서는 오디오와 트랜스크립트를 스캔해 민감한 정보를 감지하고, 트랜스크립트에는 자리표시자를, 오디오 클립에는 경고음을 표시합니다. 이를 통해 검토를 위한 대화 이력은 유지하면서 민감한 정보 노출은 줄일 수 있습니다. 
• 제로 보존 모드: 이 구성은 엄격한 보존 요구 사항에 가장 적합합니다. 요청이 완료되면 요청 및 응답의 대부분의 데이터가 즉시 삭제됩니다. 이 구성은 API 트래픽에 적용되며 엔터프라이즈 고객에게 제공됩니다.
  
  

의료 관련 배포에서 ElevenAgents는 엔터프라이즈 고객에게 제공되는 사업 제휴 계약(BAA)과 함께 사용할 경우 HIPAA 적용 자격을 갖춥니다. 서명된 BAA와 함께 사용하면 ElevenLabs의 제로 보존 모드는 고객이 규정 준수 요건을 충족하도록 플랫폼을 구성하고 사용하는 것을 전제로 HIPAA 준수를 지원하도록 설계되었습니다. 이러한 제어 기능의 전체 구성 세부 정보는 ElevenLabs 개인정보 문서에서 확인할 수 있습니다.

음성 에이전트는 고객 만족도를 어떻게 개선하나요?

고객 만족도 향상으로 이어지는 요인에는 대기 시간 제거 또는 단축, 일관성, 더 빠른 해결이 포함됩니다. 음성 에이전트는 지연 없이 전화를 받을 수 있으므로, 발신자는 시간대와 상관없이 일반적으로 일관된 품질의 응답을 받습니다. 따라서 기존에는 실제 상담원을 기다리며 대기열에 있던 일상적인 요청을 더 빠르게 해결할 수 있습니다. 

다만 고객과의 상호작용이 잘못되었을 때 불만을 가진 고객을 에이전트 루프에 가두는 것은 대기 음악보다 훨씬 빠르게 고객 경험을 해칩니다. 많은 조직은 고객 만족도를 단독으로 추적하지 않습니다. 이와 함께 보고되는 지표로는 해결률(에이전트가 사람의 개입 없이 요청을 해결하는 비율), 평균 처리 시간, 최초 통화 해결률이 있습니다. 

검토 보고서에서 이러한 지표를 함께 보면 단일 지표와는 다른 이야기를 보여주는 경우가 많습니다. 예를 들어 고객 만족도 점수가 하락하는 동시에 해결률이 높다면, 사람의 개입 없이 통화가 빠르게 처리되고 있다는 신호일 수 있습니다. 

Admiral은 해결률보다 최초 연락 해결을 우선시한 좋은 사례입니다. 이 웨비나에서 다룬 것처럼, Admiral은 24시간 연중무휴 제공 및 실질적인 NPS 향상과 함께 90% 해결률을 목표로 했습니다. 통화를 유지하는 것보다 문제 해결이 더 중요했기 때문에, 사람 상담원에게 이관하는 것은 에이전트의 성과에서 불이익으로 계산되지 않았습니다. 

자세히 알아보기를 통해 이 음성 에이전트 기능이 CRM 및 음성 설정과 어떻게 연결되는지 확인하세요.

ElevenAgents에서 음성 에이전트 기능 전체를 시작하세요

이 가이드에서 다룬 음성 에이전트 기능은 서로 분리된 독립 제품이 아닙니다. 조직의 비즈니스 요구에 맞는 동적 변수, 도구, 개인정보 설정을 갖춰 동일한 에이전트와 구성에 이러한 기능을 통합해야 합니다.

필요한 시스템에만 연결해 하나의 통화 유형부터 시작하면 간단하게 도입할 수 있습니다. 이후 지표를 통해 효과가 입증되면 에이전트를 확장할 수 있습니다. 

ElevenAgents에 대해 자세히 알아보거나 영업팀에 문의하여 지금 시작하세요.