AI 음성 어시스턴트 구축 방법: 브랜드에 맞춘 음성 AI
- 게시일
- 최종 업데이트
소매점에 환불을 요청하려고 전화했는데 사람 같은 AI의 안내를 받고 몇 분 안에 은행 계좌로 돈을 돌려받는 상황을 상상해 보세요. 모든 상호작용은 사람 지원 인력 없이도 매끄럽게 이루어집니다. 한때는 허구로 여겨졌던, 복잡한 사용 사례를 처리할 수 있는 AI 기반 음성 어시스턴트가 이제 현실이 되었습니다.
더 많은 기업이 고객 대면 애플리케이션에 AI 음성 어시스턴트를 도입하고 있습니다. 최첨단 음성 에이전트와 생성형 AI로 구동되는 이러한 어시스턴트는 사용 사례 전반에서 의도 매칭, 저지연 응답, 기능 통합을 지원합니다.
ElevenAgents 같은 도구를 사용하면 고객 지원 워크플로에 음성 어시스턴트를 그 어느 때보다 쉽게 통합할 수 있습니다. AI 음성 어시스턴트를 구축하려면 먼저 수행할 업무를 정의한 다음, 음성 텍스트 변환, LLM, 텍스트 음성 변환을 하나의 실시간 파이프라인으로 연결하세요. 지식 기반과 비즈니스 도구를 추가하고, 시스템 지침과 대체 응답 규칙을 작성하며, 지연 시간과 안전성을 테스트한 뒤 출시 후 결과를 측정하세요.
이 가이드에서는 브랜드와 긴밀하게 조화를 이루는 AI 음성 어시스턴트 구축 방법을 소개합니다.

요약
- AI 음성 어시스턴트는 음성 텍스트 변환, LLM, 텍스트 음성 변환을 연결해 작업을 수행할 수 있는 대화형 AI를 만듭니다.
- 음성 AI가 자연스럽게 들리고 통화 이탈을 줄일 수 있도록 음성 활동 감지(VAD)를 사용해 왕복 응답 시간을 500ms 미만으로 유지하세요.
- 내부 지식 베이스와 도구를 통합해 다양한 상황에서 맥락을 이해하고 정확하며 유용한 AI 응답을 제공하세요.
- 감정이 격해지거나 복잡한 문의를 처리할 때는 명시적인 음성 확인을 요구하고 실제 상담원에게 연결하는 안전장치를 적용하세요.
- 실시간 상호작용에 맞게 설계된 고정확도 대화형 음성 및 오디오 모델은 ElevenAPI로 이용할 수 있습니다.
AI 음성 어시스턴트란 무엇인가요?
AI 음성 어시스턴트는 구어를 이해하고 사용자가 연결된 시스템과 상호작용할 수 있게 하는 소프트웨어입니다. 음성 텍스트 변환, AI 모델, 텍스트 음성 변환 기술을 결합해 대화를 행동으로 전환합니다.
AI 음성 어시스턴트는 텍스트를 받아쓰는 것을 넘어 앱 실행, 데이터 조회, 기계 제어와 같은 작업을 수행할 수 있습니다. 사용하는 음성 모델에 따라 일부 AI 어시스턴트는 사람의 녹음과 사실상 구별되지 않을 정도로 자연스럽게 들릴 수 있습니다.
하지만 AI 음성 어시스턴트는 새로운 기술이 아닙니다. 많은 소비자가 간단한 명령에 응답하는 상용 음성 어시스턴트인 Siri, Alexa, Google Assistant를 사용합니다. 그러나 AI 기술이 발전하면서 더 많은 조직이 복잡한 엔터프라이즈 workflow를 위한 AI 음성 어시스턴트를 구축하고 있습니다.
예를 들어 보험사인 Admiral은 수백만 명의 고객을 지원하기 위해 AI 음성 어시스턴트를 구축했습니다. 이 AI 어시스턴트는 문의에 답하고 문서를 조회하며, 반복적인 작업에서 상담원을 해방합니다.
상업 또는 산업 workflow를 위한 AI 음성 어시스턴트를 구축할 계획이라면 계속 읽어 보세요. 주요 구현 세부 사항을 살펴보기 위해 Python AI 음성 어시스턴트 예제를 사용하여 구축 단계를 안내해 드립니다.
AI 음성 어시스턴트 구축 방법: AI 음성 에이전트의 업무 정의하기
음성 AI는 일반적으로 콜센터 전반의 고객 지원을 자동화합니다. 하지만 AI 음성 에이전트의 폭넓은 기능을 활용하면 영업, 제품, HR을 비롯한 거의 모든 사용 사례에 AI 음성 어시스턴트를 구축할 수 있습니다.
음성 에이전트의 적용 분야와 관계없이 비즈니스 로직에 부합하는지 확인하세요. 고성능 음성 어시스턴트를 구축하려면 일반적인 최종 사용자 과제에 대해 도메인 전문가와 상의하세요. 그런 다음 고객 상호작용 여정을 매핑하고 측정 가능한 지표를 설정하세요.
예를 들어 음성 AI를 영업 퍼널에 적용한다면, 에이전트는 사전 적격성 확인 질문을 할 수 있어야 합니다.
AI 영업 개발 담당자(SDR) Dom은 이를 통해 92%의 적격성 판별 정확도를 달성했습니다.
성공 지표, 채널, 에스컬레이션 경로 선택
엔터프라이즈 환경에 배포할 때 에이전트는 특정 목표에 맞춰 일관되게 작동해야 합니다. 목표가 좁을수록 에이전트를 평가하고 미세 조정하기 쉽습니다.
따라서 개발 초기부터 다음과 같은 질문을 던져야 합니다.
- 허용 가능한 응답 지연 시간은 얼마인가요?
- 예상 해결률은 얼마인가요?
- 에이전트가 여러 언어로 대화해야 하나요?
- AI 어시스턴트가 사람의 개입 없이 기본 요청을 처음부터 끝까지 처리할 수 있나요?
- 어떤 상황에서 에이전트를 사람 지원으로 에스컬레이션해야 하나요?

원시 API로 구축할까요, ElevenAgents를 사용할까요?
코드를 작성하기 전에 음성 스택 중 어느 정도를 직접 관리할지 결정하세요. ElevenAPI를 통해 음성 텍스트 변환, LLM, 텍스트 음성 변환을 직접 연결하거나, 이러한 요소를 묶어 제공하는 관리형 플랫폼 ElevenAgents를 사용할 수 있습니다.
원시 API로 구축하면 모든 계층을 완전히 제어할 수 있습니다. LLM을 선택하고 오케스트레이션 코드를 작성하며, 턴 테이킹, 인터럽트 처리, 전화 통신, 모니터링을 직접 관리합니다. 이 방식은 특정 아키텍처 요구 사항이 있는 팀에 적합하며, 이 가이드의 Python 예제도 이 방식을 따릅니다.
ElevenAgents는 모델, 도구, 지식 베이스, workflow를 하나의 대시보드로 제공합니다. Twilio, Amazon Connect와 같은 전화 통신 제공업체를 Salesforce, Zendesk, HubSpot 같은 비즈니스 도구에 연결합니다. 또한 출시 전 시뮬레이션과 자동화 테스트, 출시 후 성공률, CSAT, 트랜스크립트 분석을 제공합니다.
다음 질문을 기준으로 선택하세요.
- 속도: ElevenAgents에서는 팀이 대시보드에서 에이전트를 구성하고 출시할 수 있지만, 원시 API를 사용하려면 전체 파이프라인을 구축하고 유지 관리해야 합니다.
- 제어: 원시 API는 코드로 모든 단계를 맞춤화할 수 있는 반면, ElevenAgents는 구성을 통해 일반적인 요구 사항을 충족합니다.
- 운영: ElevenAgents에는 테스트와 분석 기능이 포함되지만, 원시 API에서는 자체 모니터링을 구축해야 합니다.
- 팀: ElevenAgents는 제품, 지원, 운영 인력이 혼합된 팀에 적합하며, 원시 API는 전담 엔지니어가 있는 팀에 적합합니다.
실용적인 접근 방식은 먼저 ElevenAgents에서 사용 사례를 검증한 다음, 더 많은 제어가 필요한 특정 계층만 맞춤 코드로 옮기는 것입니다.

AI 음성 어시스턴트 아키텍처 매핑
비즈니스 목표를 정의했다면 에이전트 기능을 적절한 기술에 매핑하세요. AI 음성 어시스턴트는 음성을 텍스트로 변환하고, 작업을 실행하며, 일관된 응답을 제공하기 위해 함께 작동하는 여러 핵심 구성 요소에 의존합니다.
- 음성 텍스트 변환 모델은 발화를 포착하고 음소를 식별하며 대화 트랜스크립트를 생성합니다.
- 단순한 규칙 기반 알고리즘이나 자연어 처리 라이브러리부터 대규모 언어 모델(LLM)까지 아우르는 AI 엔진은 음성 어시스턴트의 두뇌 역할을 합니다.
- 텍스트 음성 변환 모델은 사람 같은 음성으로 대화형 응답을 합성하고 브랜드 가이드라인을 따릅니다.

ElevenLabs는 제품 및 엔지니어링 팀이 AI 음성 어시스턴트 아키텍처를 설계할 수 있도록 Speech to Text와 Text to Dialogue 음성 및 오디오 모델을 제공합니다. 모델은 섬세한 억양, 감정 인식, 저지연 응답을 지원합니다. 음성 모델은 ElevenAPI를 통해 이용할 수 있습니다.
AI 모델은 음성 어시스턴트의 목표와 요구 사항에 따라 선택이 크게 달라집니다. OpenAI GPT 모델, Gemini, Claude와 같은 LLM은 추론에 뛰어나지만 도메인별 요구 사항을 충족하려면 추가 미세 조정이 필요합니다. 때로는 더 단순한 신경망이나 규칙 기반 파서를 사용하는 것이 더 실용적입니다.
음성 및 AI 모델 외에도 대화나 사용자 요청에서 특정 엔터티를 추출하는 맞춤 소프트웨어가 필요합니다. 예를 들어 발신자가 “영업 부서와 통화하고 싶습니다”라고 말하면, 코드가 “영업 부서”를 식별하고 적절한 작업을 실행해야 합니다.
API 키 생성 및 음성 텍스트 변환, LLM, 도구, 텍스트 음성 변환 연결
음성 및 언어 모델에 연결하기 전에 API 키가 필요합니다. 마찬가지로 외부 서비스 도구를 음성 어시스턴트에 통합할 때 API 요청을 보내려면 API 키가 필요합니다.
- ElevenLabs API 키를 만들려면 여기를 클릭하세요.
- OpenAI LLM을 사용하려면 여기에서 키를 받으세요.
- 타사 CRM, ERP 및 기타 도구에 연결하는 경우 공식 문서에서 API 키 생성 방법과 지원되는 API를 확인하세요.
API 키를 받은 후 개발 환경에 저장하세요.
그런 다음 올바른 인수를 API에 전달하여 도구, LLM, 오디오 모델을 초기화하고 액세스합니다.
1. 먼저 ElevenLabs Scribe v2 Realtime에 연결하여 자동 음성 인식을 수행합니다. ElevenLabs Scribe v2 Realtime을 사용하면 대화를 150ms 미만의 시간 안에 텍스트로 변환하는 저지연 음성 에이전트를 만들 수 있습니다(네트워크 및 애플리케이션 시간 제외).
아래는 ElevenLabs Scribe v2 Realtime으로 마이크 녹음을 캡처하는 Python 코드 예시입니다.
2. 다음으로 트랜스크립트를 강력한 추론 기능을 갖춘 LLM에 보내 응답을 생성합니다. 이 예제에서는 OpenAI GPT-4o mini를 사용합니다.
다음은 Python 코드에서 트랜스크립트를 LLM으로 보내는 방법입니다.
3. LLM의 출력을 받은 후 ElevenLabs v4 Turbo를 사용해 사실적인 음성 응답으로 변환합니다. ElevenLabs의 텍스트 음성 변환 모델은 감정 표현력이 뛰어나며 실시간 상호작용을 위해 설계되었고, 약 100ms의 초저지연을 제공합니다(모델 추론 시간만을 의미합니다. 실제 엔드투엔드 지연 시간은 위치, 사용한 엔드포인트 유형 등의 요인에 따라 달라집니다).
아래 코드는 에이전트가 ElevenLabs Text to Dialogue API로 WebSocket을 사용해 음성 응답을 스트리밍하는 모습을 보여 줍니다.
자동 음성 인식 에이전트는 여러 턴의 대화를 원활하게 처리해야 합니다. 이를 위해 음성이 시작되고 끝나는 시점을 파악할 수 있는 음성 에이전트가 필요합니다.
자연스럽고 목적에 맞는 대화 설계
기존의 대화형 음성 응답(IVR) 시스템은 프로그래밍된 시나리오를 벗어나 작동하지 않습니다. 규칙에 정의되지 않은 문제 해결을 요청받으면 이러한 IVR은 만족스러운 응답을 제공하지 못합니다. 또한 항상 자연스럽게 들리는 것도 아니어서 고객 경험을 해칩니다.
고급 AI 및 음성 모델을 사용하면 음성 어시스턴트가 더 자연스럽게 응답하고 예외 상황도 처리할 수 있습니다. 에이전트가 예상해야 하는 다양한 시나리오와 해결할 수 없는 경우의 에스컬레이션 경로를 설계할 수 있습니다. 예를 들어 일부 고객은 배송 상태를 문의하기 위해 전화하지만, 다른 고객은 불량 제품에 불만을 느끼고 CX 관리자와의 통화를 요구할 수 있습니다.
시스템 지침, 턴 테이킹 규칙, 대체 응답 작성
다양한 시나리오를 처리하려면 AI 음성 에이전트 애플리케이션에 특정 로직 처리 코드와 시스템 프롬프트를 작성합니다.
예를 들어 아래 시스템 프롬프트는 좌절감을 감지하고 LLM에 더 공감하는 방식으로 응답하도록 지시합니다.
AI 대화는 절대 급하게 느껴져서는 안 되며 중단되어서도 안 됩니다. 음성 모델은 사용자가 말을 멈춘 시점을 감지하고 적시에 응답해야 합니다. ElevenLabs Scribe v2 Realtime에서는 마이크 입력을 수신할 때 VAD를 활성화할 수 있습니다. 침묵 시간에만 의존하는 기존 VAD와 달리 ElevenLabs Scribe v2 Realtime은 딥러닝 알고리즘을 사용해 고객이 말을 마쳤는지 판단합니다.
VAD를 활성화하려면 Speech to Text API와 상호작용할 때 코드에서 매개변수를 설정하세요.
다음으로 에이전트가 고객 요청에 만족스럽게 답변하지 못할 경우 정중하고 존중하는 대체 응답을 제공하세요. 마찬가지로 AI 에이전트는 대화를 트랜스크립션하는 동안 오류를 만날 수 있습니다. 코드는 기술적 문제를 처리하고 고객에게 투명하게 알려야 합니다.
대체 응답을 제공하려면 코드에서 조건부 로직을 사용합니다. 예를 들어 아래 코드 예시는 Speech to Text API의 오류 상태를 포착하고 적절한 응답을 실행합니다.
신뢰할 수 있는 답변을 위한 지식 및 도구 계층 구축
LLM은 강력한 추론 기능을 제공하여 AI 음성 어시스턴트가 자연스럽게 응답하도록 합니다. 하지만 대화형 응답이 항상 정확성을 의미하는 것은 아닙니다. 근거 데이터가 없으면 LLM은 환각을 일으킬 수 있으며, 이로 인해 음성 에이전트가 그럴듯하지만 부정확한 답변을 제공할 수 있습니다.
예를 들어 최근 출시한 제품에 대해 GPT-4o mini에 물으면 확신 있게 답변하지 못할 수 있습니다. 이를 위해서는 검색 증강 생성(RAG) 시스템으로 LLM을 내부 지식 베이스에 연결해야 합니다. RAG를 사용하면 LLM이 내부 제품 가이드를 참조하여 정확한 답변을 생성할 수 있습니다.
검색, API 작업, 권한 및 사람 연결 추가
RAG를 사용하려면 벡터 데이터베이스를 만들어야 합니다. 벡터 데이터베이스는 문서를 다차원 공간의 수치 표현으로 저장합니다. 다음 코드 예시는 음성 에이전트가 LLM에 쿼리하기 전에 벡터 스토어에서 관련 문서를 검색하는 방법을 보여 줍니다.
RAG 외에도 AI 음성 어시스턴트는 CRM, ERP 및 기타 엔터프라이즈 시스템에 액세스해야 할 가능성이 높습니다. 이를 통해 음성 에이전트는 응답을 작성할 때 고객 데이터, 과거 거래, 시장 동향과 같은 필요한 정보를 맥락으로 활용할 수 있습니다.
예를 들어 API를 사용해 ElevenLabs를 HubSpot과 통합할 수 있습니다. 이를 통해 CRM 지식 베이스로 일반적인 문제를 해결하고, 티켓을 생성하며, 전체 대화 맥락과 함께 지원을 에스컬레이션할 수 있습니다.
다음은 음성 에이전트가 HubSpot에서 지원 티켓을 생성하도록 하는 코드 예시입니다.
AI 음성 에이전트는 문제 해결 속도를 높일 수 있지만, 고객은 특히 자신의 계정에 중대한 영향을 미칠 수 있는 변경을 할 때 선택지를 알아야 합니다. 텍스트 기반 챗봇과 달리 선택지를 음성으로 안내하려면 더 많은 안전장치가 필요합니다. 한번 선택한 내용은 통화 중 되돌리기 어려울 수 있습니다.
이 경우 발신자를 인증하고 음성 확인을 받는 것을 권장합니다. 예를 들어 고객이 구매를 취소하려는 경우 음성 에이전트는 “주문을 취소하시겠습니까?”라고 명시적으로 질문하고 답변을 기다려야 합니다.
아래에 예시를 소개합니다.
AI 음성 에이전트로 발신자 신원 확인하기
AI 음성 에이전트는 계정 세부 정보를 공유하거나 계정을 변경하기 전에 통화 상대가 누구인지 확인해야 합니다. 발신자의 전화번호는 유용한 신호이지만 신원을 증명하지는 않습니다. 다른 확인 절차와 함께 사용하세요.
- 발신자 번호를 CRM의 고객 기록과 대조하세요.
- 최근 주문 날짜처럼 계정 소유자만 알 수 있는 세부 정보를 요청하세요.
- 도구 호출을 통해 기록과 답변을 검증하고, 답변의 정확성 판단을 LLM에 의존하지 마세요.
- 미확인 발신자가 할 수 있는 작업을 제한하세요. 예를 들어 주문 상태 확인은 허용하되 취소는 허용하지 않습니다.
위의 시스템 프롬프트에서 지시한 대로 비밀번호, 전체 결제 카드 번호, 인증 코드는 대화에서 제외하세요.

실시간 통화 전환 및 에스컬레이션을 지원하는 AI 음성 에이전트
실시간 전환은 발신자가 같은 내용을 반복하지 않고 사람 상담원에게 연결되도록 합니다. 웜 트랜스퍼에서는 통화가 연결되기 전에 음성 에이전트가 트랜스크립트와 맥락을 상담원에게 전달합니다. 일반적인 트리거는 다음과 같습니다.
- 발신자가 사람과 통화하기를 요청합니다.
- 발신자가 좌절한 듯 들리거나 대화가 감정적으로 격해집니다.
- 에이전트가 대체 응답 후에도 요청을 해결하지 못합니다.
- 요청에 사람의 승인이 필요한 작업이 포함됩니다.
경우에 따라 AI 에이전트는 통화를 상담원에게 에스컬레이션해야 합니다. 음성 에이전트는 대개 불만을 나타내는 의도나 전환을 유발하는 특정 단어를 감지합니다. 코드에서는 통화 전환이 원활하게 이루어지고 고객이 그 과정을 의식하지 않도록 해야 합니다.

전환 전에 트랜스크립트, 고객 세부 정보 및 기타 보조 맥락을 실시간 지원 데스크에 전달합니다. ElevenLabs는 AI 에이전트가 처리하는 통화를 SIP 트렁크 또는 Twilio 전화번호로 라우팅하는 번호 전환 도구를 제공합니다.
아래 코드 예시는 Twilio 컨퍼런스 핸드오프를 보여 줍니다.
ElevenAgents에서 코드 없이 AI 음성 어시스턴트 구축하기
맞춤 코드가 필요하지 않다면 ElevenAgents에서 동일한 어시스턴트를 출시할 수 있습니다. 단계는 위 아키텍처와 같지만, 코드를 작성하는 대신 대시보드에서 각 계층을 구성합니다.
- 에이전트를 만들고 시스템 프롬프트에 톤, 범위, 에스컬레이션 시점을 포함해 업무를 설명하세요.
- 보이스 라이브러리에서 음성을 선택하거나 직접 디자인 또는 복제하고, 에이전트가 사용할 언어를 설정하세요.
- 에이전트가 자체 문서를 바탕으로 답변할 수 있도록 지식 베이스를 추가하세요.
- 에이전트가 작업을 수행할 수 있도록 CRM이나 헬프 데스크 등의 도구와 통합을 연결하세요.
- 어시스턴트가 해결할 수 없는 통화를 사람 상담원에게 전환하도록 설정하세요.
- 출시 전에 시뮬레이션과 자동화 테스트를 실행해 동작을 확인하세요.
- 전화번호나 채널에 에이전트를 배포한 다음 성공률, CSAT, 트랜스크립트를 검토하세요.
아래 섹션의 테스트 및 측정 지침은 코드로 구축하든 코드 없이 구축하든 적용됩니다.
브랜드에 맞는 AI 음성 어시스턴트 구축 방법
조직은 브랜드를 반영하도록 AI 에이전트의 음성을 맞춤화할 수 있습니다. 대화 전반에 걸친 일관된 톤은 신뢰 구축에 도움이 됩니다. ElevenLabs에서는 AI 에이전트의 음성을 여러 방식으로 맞춤화할 수 있습니다.
- ElevenLabs 보이스 라이브러리는 90개 이상의 언어로 자연스럽게 말하는 20,000개 이상의 AI 음성을 제공합니다. 에너지 넘치는 음성부터 차분하고 자신감 있는 음성까지, 브랜드 톤에 맞는 음성을 찾아 사용할 수 있습니다.
- ElevenLabs 보이스 디자인을 사용하면 텍스트 프롬프트로 고유한 음성 특성을 만들 수 있습니다. 원하는 음성을 얻을 수 있도록 속도, 톤, 감정 및 기타 음성 특성을 설명하세요.
- ElevenLabs AI 음성 복제는 음성 녹음 샘플을 분석하여 목소리의 디지털 복제본을 만듭니다.
감정과 뉘앙스를 정확히 구현하는 것뿐 아니라, 특히 고유명사의 경우 AI 음성의 발음을 점검하는 것도 중요합니다. 필요하다면 음성 모델이 참조할 수 있는 발음 사전을 만드세요.

출시 전 지연 시간, 인터럽트, 정확도 및 안전성 테스트
출시 전에 다양한 시나리오에서 안정적으로 작동하는지 확인하기 위해 AI 음성 에이전트를 철저히 테스트하세요.
- 지연 시간 테스트: 응답에 700ms 이상 걸리는 에이전트는 고객에게 부자연스럽게 들립니다. 설정에 따라 네트워크 속도, LLM, 음성 모델, 타사 API가 지연 시간에 영향을 줄 수 있습니다. 대화 지연 시간은 이상적으로 500ms 미만으로 유지하세요.
- 인터럽트 테스트: 에이전트가 대화 중간의 인터럽트를 처리하는지 확인하세요. 구체적으로 에이전트는 출력 오디오 프레임을 버리고 TTS를 중지한 후 맥락을 잃지 않고 음성 입력 캡처를 재개해야 합니다.
- 턴 테이킹 테스트: 사용자가 말을 멈추면 에이전트가 자연스럽게 이어받아야 합니다. 에이전트가 적절한 시점에 이어받는지, 말하는 중간에 끼어들지는 않는지 평가하세요. 자세한 가이드는 ElevenLabs의 턴 테이킹 처리 방식을 읽어 보세요.
- 정확도 테스트: STT 계층의 부정확성은 다운스트림으로 전파됩니다. 음성 어시스턴트가 시끄러운 환경에서도 음성을 이해할 수 있는지 확인하세요. 또한 음성 모델은 서로 다른 억양의 음성을 일관되게 정확하게 트랜스크립션해야 합니다.
- 안전성 테스트: 가드레일이 브랜드 정책을 위반하는 시스템 동작을 방지하는지 확인하세요. 상호작용이 감정적으로 격해질 경우 에이전트는 사전 설정된 가이드라인에 따라 사람 상담원에게 원활히 연결해야 합니다.

성과 측정 및 음성 어시스턴트 개발 개선
내부 테스트 기준을 통과하면 AI 음성 에이전트를 실제 환경에 배포할 준비가 됩니다. 하지만 이것이 개발 수명 주기의 최종 목표는 아닙니다. AI 음성 에이전트가 계속 고객 요청을 해결하도록 하려면 배포 후 반복 개선도 마찬가지로 중요합니다.
대화형 AI 지표의 피드백을 사용해 AI 어시스턴트의 격차를 파악하세요. 그런 다음 애플리케이션 로직, API 통합, 모델 선택 및 기타 기술 스택 구성 요소를 점진적으로 개선하여 대화형 AI 성능을 높이세요.
해결률, 해결 성과, 고객 만족도 및 실패 유형 추적
AI 어시스턴트를 업계 벤치마크와 지속적으로 비교 측정하세요. 추적할 지표는 다음과 같습니다.
- 해결률: AI 에이전트가 성공적으로 해결한 대화 수를 추적합니다.
- 에스컬레이션 비율: 최종적으로 사람의 개입이 필요한 통화를 측정합니다.
- 단어 오류율: AI가 오디오를 얼마나 정확하게 트랜스크립션하는지 나타내는 정확도 벤치마크입니다.
- 환각률: LLM이 부정확하지만 그럴듯한 답변을 생성한 사례를 보여 줍니다.
- CSAT: 고객이 AI 음성 에이전트에 얼마나 만족하는지를 나타내는 피드백입니다.
AI 음성 어시스턴트를 위한 ElevenAPI 시작하기
ElevenAPI는 AI 음성 어시스턴트 개발을 간소화합니다. 선도적인 텍스트 음성 변환 및 음성 텍스트 변환 모델을 통해 엔터프라이즈 workflow에 자연스럽게 통합되는 맥락 인식 대화형 AI 에이전트를 만들 수 있습니다. ElevenLabs의 음성 및 오디오 모델은 일관되게 높은 정확도와 낮은 지연 시간을 제공하여 자연스러운 고객 경험을 지원합니다.
여기에서 ElevenAPI API 키를 받고 공식 문서를 살펴보며 구축을 시작하세요.
FAQ: AI 음성 어시스턴트 구축
Jack Limebear는 Growth 팀에서 블로그와 인사이트 페이지의 콘텐츠 작가이자 전략가로 활동하고 있습니다. ElevenLabs에 합류하기 전에는 빠르게 성장하는 SaaS 스타트업부터 포춘 500대 기업까지 다양한 조직에서 10년 넘게 콘텐츠 전략을 이끌었습니다. 케임브리지 대학교에서 영문학 석사 학위를 취득했습니다.



