AI 음성 에이전트란 무엇이며, 어떻게 작동하나요?

기업은 그 어느 때보다 많은 고객 상호작용을 처리하고 있습니다. 지원해야 할 언어는 늘어나고 업무 시간이 한참 지난 뒤에도 전화가 걸려오면서, 대부분의 팀이 혼자 감당할 수 있는 속도를 넘어섰습니다.

AI 음성 에이전트는 일상적인 질문에 답하고, 일반적인 작업을 완료하며, 필요할 때 더 복잡한 상황을 상담원에게 에스컬레이션하여 이러한 과제를 해결하는 데 도움을 줍니다.

이 글에서는 AI 음성 에이전트란 무엇인지, 작동 방식, 가장 유용한 활용 분야와 ElevenAgents를 사용해 구현하는 방법을 알아봅니다.

요약

• AI 음성 에이전트를 사용하면 고객은 전화나 브라우저에서 키패드 메뉴를 탐색하는 대신 자연스럽게 말할 수 있습니다.
• AI 음성 에이전트는 이미 대규모로 실제 고객 상호작용을 처리하고 있습니다. Revolut는 티켓 해결 시간을 8배 단축했고, Zingage는 HIPAA를 준수하면서 통화의 90% 이상을 처리하고 있습니다.
• 일반적인 활용 사례로는 고객 지원, 예약 일정 관리, 리드 검증, 결제 알림, 내부 헬프데스크 워크플로가 있습니다.
• ElevenAgents와 같은 플랫폼을 사용하면 기반 인프라를 처음부터 구축하지 않고도 음성 에이전트를 배포할 수 있으며, 일반적으로 첫 오디오가 재생되기까지 1초 미만이 걸립니다.

AI 음성 에이전트란 무엇인가요?

AI 음성 에이전트는 인공지능을 사용해 자연스러운 음성을 이해하고 그에 맞게 응답하는 시스템으로, 메뉴를 탐색하는 것보다 사람과 대화하는 것에 가까운 경험을 제공합니다.

음성 에이전트는 사람들이 전화나 웹으로 기업과 소통하는 모든 곳에서 특히 유용합니다. 예를 들면 다음과 같은 업무를 지원할 수 있습니다.

• 고객 지원: 청구 관련 질문에 답하고, 주문 현황을 제공하며, 고객이 계정 정보에 액세스하도록 도울 수 있습니다.
• 일정 관리 워크플로: 예약을 생성, 변경 또는 취소할 수 있습니다.
• 영업: 리드를 검증하고 적합한 담당자에게 연결할 수 있습니다.
• 운영: 아웃바운드 캠페인, 결제 알림, 본인 확인 전화를 대규모로 처리할 수 있습니다.

중요한 점은 에이전트가 단지 "말만 하는" 것이 아니라는 것입니다. 듣고, 추론하고, 행동합니다. 이것이 음성 AI를 기존 자동화 도구 및 대부분의 챗봇과 구분하는 요소입니다.

AI 음성 에이전트는 IVR 및 챗봇과 어떻게 다른가요?

대화형 음성 응답(IVR) 시스템은 발신자를 사전 정의된 메뉴로 안내하지만, 이는 사람들이 자연스럽게 소통하는 방식과는 거리가 멉니다. AI 챗봇은 텍스트를 잘 처리하지만 고객이 읽고 입력할 수 있는 환경에서만 작동합니다.

AI 음성 에이전트는 자연스러운 대화, 음성, 작업 수행을 하나로 결합하므로 말하기가 가장 자연스러운 상호작용 방식인 환경에 더 적합합니다.

AI 음성 에이전트의 장점은 무엇인가요?

음성 에이전트는 고객 대화를 개선하는 동시에 기업이 더 많은 상호작용을 효율적으로 처리하도록 돕습니다. 더 나은 대화는 고객 경험 향상, 더 빠른 해결, 더 강력한 운영 성과로 이어지는 경우가 많습니다.

자연스러운 억양과 톤

고품질 음성 합성은 통화 내내 자연스러운 리듬, 강조, 대화 흐름을 유지합니다. 상호작용이 로봇처럼 들리지 않고 자연스럽게 들리면, 고객은 계속 참여할 가능성이 높아지고 신뢰는 높아지며 불만은 줄어듭니다.

끼어들기 및 자연스러운 턴테이킹

실제 대화에는 끼어들기, 멈춤, 주제 전환이 포함됩니다. 끼어들기와 턴테이킹을 지원하는 음성 에이전트는 대화 흐름을 끊지 않고 이러한 변화에 적응하여 발신자가 더 빨리 답을 찾도록 돕습니다.

원어민 억양의 다국어 지원

고객이 선호하는 언어로 상호작용하고 자연스러운 발음과 리듬으로 전달되는 응답을 들으면, 소통은 더 명확하고 접근하기 쉬워집니다. 기업은 언어마다 별도의 워크플로를 만들지 않고도 다양한 고객층을 지원할 수 있습니다.

대규모 24시간 연중무휴 지원

음성 에이전트는 업무 시간 외에도 전화를 받고, 수요 급증을 관리하며, 아웃바운드 캠페인을 지원할 수 있습니다. 고객은 필요할 때 지원을 받고, 기업은 놓친 기회와 인력 부족 비용을 줄일 수 있습니다.

상담원 연결 시 전체 맥락 전달

대화를 에스컬레이션해야 할 때 다음 담당자는 대화 기록, 감지된 의도, 에이전트가 이미 수집한 정보를 전달받습니다. 이로써 반복을 줄이고 고객이 처음부터 다시 설명하지 않아도 상담원이 대화를 이어갈 수 있습니다.

향상된 최초 문의 해결률

음성 에이전트는 일반적인 질문에 답하고 일상적인 작업을 즉시 완료하므로, 고객은 첫 상호작용에서 필요한 것을 얻을 수 있습니다. 재문의가 줄어들면 고객 만족도와 운영 효율성이 모두 향상됩니다.

AI 음성 에이전트와 사람 상담원은 언제 사용해야 하나요?

유용한 원칙은 대량의 반복적이고 구조화된 작업에는 AI를 사용하고, 판단, 공감, 협상 또는 예외 처리가 필요한 상황에는 사람을 배정하는 것입니다.

가장 효과적인 전략은 사람과 AI 음성 에이전트를 함께 활용하는 것입니다. 예를 들어 컨택 센터는 고객 서비스 AI 음성 에이전트를 사용해 주문 추적, 비밀번호 재설정, 예약 알림을 처리하고, 청구 분쟁이나 감정적으로 민감한 통화는 사람 상담원에게 바로 연결할 수 있습니다.

AI는 대기 시간을 줄이고 일상적인 통화에 일관된 답변을 제공하며, 사람은 가장 중요한 순간에 판단력과 공감 능력을 발휘합니다.

AI 음성 에이전트는 어떻게 작동하나요?

누군가 AI 음성 에이전트에게 말하면 여러 시스템이 밀리초 단위로 함께 작동하여 요청을 이해하고, 응답을 생성하며, 자연스럽게 대화를 이어갑니다. ElevenAgents의 Flash 모델은 약 75ms의 모델 추론 지연 시간을 달성하며, 전체 파이프라인에서 첫 오디오가 재생되기까지 일반적으로 1초 미만이 걸립니다.

ElevenAgents가 이 파이프라인을 관리하는 방식을 자세히 알아보려면 ElevenAgents 오케스트레이션 엔진 살펴보기를 참고하세요.

1. 발신자가 말하면 오디오가 텍스트로 변환됩니다

상호작용은 발신자가 말하면서 시작됩니다. 에이전트는 음성 인식(STT) 모델을 사용해 발신자의 오디오를 실시간으로 텍스트로 변환하므로 시스템은 즉시 요청 처리를 시작할 수 있습니다.

ElevenAgents에서는 이 단계를 Scribe(ElevenLabs의 음성 인식 모델)가 처리합니다. Scribe v2 Realtime은 약 150ms의 지연 시간을 제공하므로 발신자 관점에서는 전사가 사실상 즉시 이루어집니다.

2. 에이전트가 요청을 해석하고 작업을 수행합니다

음성이 전사되면 대규모 언어 모델(LLM)이 응답에 필요한 모든 맥락과 함께 요청을 처리합니다. 에이전트는 다음을 포함한 맥락을 하나의 요청으로 구성합니다.

• 에이전트가 이미 논의된 내용을 알 수 있도록 하는 대화 기록.
• 다음을 통해 검색한 관련 비즈니스 지식 검색 증강 생성(RAG)를 통해 자체 제품 정보, 정책, 절차, 가격, 지원 콘텐츠에 근거해 답변합니다.
• 대화 초반에 उपलब्ध한 도구 출력 또는 동적 변수.
• 에이전트의 역할, 톤, 규칙을 정의하는 시스템 프롬프트.

이러한 맥락을 바탕으로 에이전트는 응답 방식을 결정합니다. 검색한 지식만으로 직접 답할 수 있으면 그렇게 합니다. 요청에 작업이 필요하면 통합 도구를 통해 실행한 뒤, 결과를 사용해 응답을 구성합니다. 일반적인 작업은 다음과 같습니다.

• 고객 정보 조회.
• 예약 일정 관리.
• 기록 업데이트.
• 확인 메시지 발송.
• 대화 라우팅.

ElevenAgents는 ElevenLabs 호스팅 LLM과 Anthropic, OpenAI, Google의 다른 주요 모델을 함께 지원합니다.

3. 응답이 다시 음성으로 변환됩니다

응답을 생성한 후 Eleven v4(ElevenLabs의 텍스트 음성 변환 모델)는 텍스트를 자연스러운 오디오로 변환하여 실시간으로 발신자에게 스트리밍합니다. 이 기능 덕분에 에이전트는 기존 자동 전화 시스템처럼 들리지 않고 자연스러운 속도, 강조, 대화 흐름으로 응답할 수 있습니다.

4. 턴테이킹으로 자연스러운 대화를 유지합니다

전용 턴테이킹 모델이 끼어들기, 멈춤, 무음 감지, 대화 타이밍을 관리합니다. 따라서 발신자는 기존 음성 시스템에서 흔히 느끼는 경직된 경험 없이 자연스럽게 끼어들거나, 생각하며 잠시 멈추거나, 대화 중간에 방향을 바꿀 수 있습니다.

5. 음성사서함 감지로 아웃바운드 통화를 지능적으로 처리합니다

아웃바운드 워크플로에서 시스템은 연결된 대상이 실제 사람인지 음성사서함인지 판단합니다. 전체 상호작용 흐름을 음성사서함에 전달하는 대신, 에이전트는 적절한 메시지를 남기고 결과를 정확히 기록한 후 자동으로 다음 통화를 계속합니다.

AI 음성 에이전트는 어디에서 가장 많이 사용되나요?

AI 음성 에이전트는 통화가 잦거나 반복적이거나 시간에 민감한 산업에서 가장 효과적입니다. 에스컬레이션 없이 처리할 수 있는 명확한 워크플로와 일반적인 질문에 적합합니다. 또한 내장된 규정 준수 인증과 감사 로그를 통해 배포 전에 업계 표준을 더 쉽게 충족할 수 있어 규제가 엄격한 환경에도 적합합니다.

AI 음성 에이전트는 어떻게 구현하나요?

AI 음성 에이전트를 성공적으로 구현하려면 적절한 모델을 선택하는 것만으로는 충분하지 않습니다. 고객과 대화하기 전에 활용 사례를 정의하고, 명확한 성공 기준을 설정하며, 에이전트의 동작을 구성하고, 실제 환경에서 테스트해야 합니다.

전체 과정을 자세히 알아보려면 1시간 이내에 비즈니스용 AI 에이전트를 만드는 방법을 참고하세요.

1단계: 활용 사례와 성공 기준 정의

모든 고객 상호작용을 한 번에 자동화하려 하기보다 하나 또는 두 개의 구체적인 워크플로부터 시작하세요.

예시는 다음과 같습니다.

• 예약 일정 관리.
• 주문 상태 요청.
• 청구 문의.
• 리드 검증.
• 내부 IT 지원.

각 워크플로에 대해 구현 전에 성공 지표를 정의하세요. 활용 사례에 따라 해결률, 자체 해결률, 평균 처리 시간, 예약 완료율, CSAT 또는 사람 상담원 전환율 등이 포함될 수 있습니다. 명확한 지표를 사용하면 배포가 실제로 성과를 개선하는지 판단하기 쉬워집니다.

ElevenAgents는 더 빠르게 시작할 수 있도록 사전 구축 템플릿도 제공합니다.

2단계: 고객이 에이전트와 상호작용할 위치 선택

워크플로를 정의했다면 고객이 가장 많이 이용할 채널을 결정하세요.

• SIP를 통한 전화: 고객 지원, 예약 일정 관리, 청구 문의, 서비스 요청 및 기타 대량 음성 워크플로에 가장 적합합니다. 기존 고객 행동과 일치하기 때문에 기업이 가장 먼저 자동화하는 채널인 경우가 많습니다. ElevenAgents는 Twilio 및 기타 SIP 제공업체를 통해 연결됩니다. 미국의 TCPA 또는 유럽의 통화 녹음 관련 GDPR처럼 아웃바운드 전화에는 규정 준수 요건이 적용된다는 점에 유의하세요.
• 웹 위젯: 고객이 지원팀에 문의하기 전에 웹사이트를 자주 방문하는 경우 유용합니다. ElevenAgents의 웹 위젯은 브라우저에서 음성과 채팅 상호작용을 모두 지원하므로 방문자는 전화를 걸지 않고도 원하는 방식으로 참여할 수 있습니다.
• WhatsApp: 메시징 우선 워크플로, 다국어 고객층, WhatsApp이 주요 고객 채널인 시장에 적합합니다. 일부 고객은 음성보다 텍스트를 통해 기업과 소통하는 것을 선호하므로 훌륭한 추가 채널이기도 합니다.

음성 에이전트가 운영되기 시작한 후에는 최소한의 수정만으로 추가 채널로 확장할 수 있습니다. ElevenAgents를 사용하면 처음부터 다시 구축하지 않고도 동일한 에이전트를 전화, 웹, WhatsApp 등에 배포할 수 있습니다.

3단계: 에이전트의 지식, 음성 및 동작 구성

채널을 선택한 후에는 LLM, 지식 소스, 음성, 시스템 프롬프트 등 에이전트의 동작 방식을 결정하는 구성 요소를 설정하세요.

• LLM: 에이전트의 추론 엔진입니다. 주요 트레이드오프는 지연 시간과 성능 간의 균형입니다. 작고 빠른 모델은 유연하고 자연스러운 대화에 적합합니다. 더 강력한 추론 능력을 갖춘 대형 모델은 복잡한 도구 호출, 상세한 시스템 프롬프트, 다단계 워크플로에 더 적합합니다. 활용 사례에 가장 적합한 모델을 찾으려면 전체 모델 목록 및 트레이드오프를 확인하세요.
• 지식 베이스: 에이전트가 질문에 정확하게 답하기 위해 참조하는 문서, FAQ, SOP입니다. 주요 트레이드오프는 범위와 정확성 간의 균형입니다. 더 넓은 지식 베이스는 에이전트에 더 많은 정보를 제공하지만, 초점 없는 콘텐츠가 너무 많으면 검색 품질이 떨어질 수 있습니다. 정의한 활용 사례와 가장 관련 있는 콘텐츠부터 시작해 확장하세요.
• 음성: 발신자에게 에이전트가 어떻게 들리는지를 결정합니다. ElevenAgents는 10,000개 이상의 음성을 억양, 언어, 스타일별로 제공하며, 직접 음성을 복제할 수도 있습니다. 브랜드와 고객층에 맞는 음성을 선택하고, 고객에게 친숙하게 들리도록 지역별로 다른 음성을 선택하는 것도 고려하세요.
• 시스템 프롬프트: 에이전트의 역할, 톤, 수행해야 하는 작업, 절대 수행해서는 안 되는 작업, 에스컬레이션 요건, 규정 준수 제약을 정의하는 운영 지침입니다. 강력한 프롬프트는 예측 가능한 동작을 만들고, 모호한 프롬프트는 일관성 없는 대화를 만듭니다. 자세한 내용은 ElevenAgents 프롬프팅 가이드를 참고하세요.

이 네 가지 구성 요소는 함께 작동합니다. LLM은 추론하고, 지식 베이스는 정확한 답변을 제공하며, 음성은 이를 전달하고, 시스템 프롬프트는 모든 것을 올바른 방향으로 유지합니다. 출시 전에 각각을 제대로 설정하는 것이 신뢰할 수 있는 에이전트와 일관성 없는 에이전트를 가르는 차이입니다.

4단계: 상담원 연결 규칙 정의

에이전트는 사람의 도움이 필요한 시점을 정확히 알아야 합니다. 일반적인 상담원 연결 트리거는 다음과 같습니다.

• 발신자가 사람 상담원을 요청하는 경우.
• 에이전트가 자신의 응답에 대한 확신이 낮은 경우.
• 같은 질문에 답하려는 시도가 여러 번 실패한 경우.
• 민감한 청구 또는 규정 준수 관련 상황.
• 감정이 격앙된 고객 상호작용.

ElevenAgents에서는 상담원 연결 로직을 시각적 편집기인 Workflows에서 정의합니다. 이 기능을 사용하면 비기술 팀도 AI 에이전트의 대화 처리 방식을 설계할 수 있으며, 각 단계를 정의하고 한 에이전트에서 다음 에이전트로 대화를 이동시키는 조건을 설정하며, 트리거가 충족될 때 사람에게 연결할 수 있습니다.

또한 멀티 에이전트 라우팅도 지원합니다. 한 에이전트가 전체 통화를 처리하는 대신 특정 작업에 전념하는 전문 에이전트를 만들 수 있습니다. 예를 들어 트리아지 에이전트가 전화를 받고 발신자의 필요를 파악한 다음 결제 문의 전담 청구 에이전트로 연결합니다. 각 에이전트는 자체 프롬프트와 지식 베이스에서 작동하므로 모든 것을 한꺼번에 처리하려 하기보다 담당 영역에 집중하여 정확성을 유지합니다.

5단계: 대화 평가 및 시뮬레이션

고객에게 시스템을 공개하기 전에 미리 정의한 평가 기준에 따라 테스트하세요. 프로덕션 환경의 대부분의 실패는 잘못된 LLM이나 좋지 않은 음성 때문에 발생하지 않습니다. 엣지 케이스에서만 드러나는 시스템 프롬프트 또는 지식 베이스의 공백에서 발생합니다. 출시 전 테스트를 통해 실제 고객보다 먼저 이러한 공백을 발견할 수 있습니다.

ElevenAgents는 에이전트를 테스트할 수 있는 세 가지 상호 보완적 방법을 제공합니다.

• 다음 응답 테스트: 정의된 성공 기준에 따라 대화 응답을 평가합니다. 시나리오를 정의하고 좋은 응답의 기준을 설정하면 LLM 평가자가 통과 또는 실패를 판단합니다.
• 도구 호출 테스트: 에이전트가 올바른 매개변수로 올바른 도구를 호출하는지 검증합니다. 이는 전환, 데이터 조회, 결제 처리와 같은 중요한 작업에 필수적입니다.
• 시뮬레이션 테스트:시뮬레이션 사용자와 전체 멀티턴 대화를 실행해 단일 응답뿐 아니라 전체 상호작용이 의도한 결과에 도달하는지 검증합니다.

출시 전에 세 가지 테스트를 모두 실행한 다음, 실패 원인을 프롬프트 공백, 누락된 지식 베이스 콘텐츠 또는 도구 로직 문제로 추적하세요. 기준을 일관되게 통과할 때까지 반복합니다. 목표는 실제 고객 통화가 아니라 시뮬레이션 환경에서 문제를 발견하는 것입니다.

6단계: 배포, 모니터링 및 개선

출시 후에는 ElevenAgents 분석 대시보드에서 고객 결과와 운영 지표를 모두 모니터링하세요.

주요 지표는 다음과 같습니다.

• 해결률.
• 자체 해결률.
• 에스컬레이션율.
• CSAT.
• 평균 처리 시간.
• 재문의율.

가장 성공적인 배포 사례는 실제 고객 대화를 바탕으로 프롬프트, 지식 소스, 워크플로를 지속적으로 개선합니다.

ElevenAgents로 첫 AI 음성 에이전트 구축

많은 지원 및 운영 팀이 고객 대화를 자동화하고 싶어 하지만, 전체 음성 AI 스택을 내부적으로 구축하고 유지할 리소스가 부족합니다.

ElevenAgents는 실시간 대화의 복잡성 대부분을 처리하면서 음성 에이전트를 배포할 수 있는 노코드 경로를 제공합니다. 팀은 하나의 플랫폼에서 비즈니스 지식을 연결하고, 워크플로를 정의하며, 에스컬레이션 로직을 구성하고, 성능을 테스트하고, 전화 및 웹 기반 음성 경험 전반에 배포할 수 있습니다.

더 직접적인 지원이 필요한 팀을 위해 ElevenAgents는 Forward Deployed Engineers를 제공합니다. 이들은 팀에 직접 참여해 프로덕션 준비가 된 에이전트의 범위를 정의하고, 구축하고, 배포하는 ElevenLabs 전문가입니다. 플랫폼을 전달한 뒤 물러나는 대신 출시 이후에도 계속 참여하며, 팀이 추적하는 동일한 KPI에 대한 책임을 함께 집니다.

다음 단계로 나아갈 준비가 되었다면 지금 바로 에이전트를 구축하거나 영업팀에 문의하여 구현을 가장 효과적으로 지원하는 방법을 논의해 보세요.

자주 묻는 질문