대화형 AI 디자인: 더 인간적인 사용자 경험 만들기

대화형 AI 디자인은 과거에는 의사 결정 트리를 구축하는 일이었습니다. 초기 챗봇과 IVR 메뉴는 경직된 사전 스크립트 분기를 기반으로 작동했습니다. 청구 문의는 1번을 누르고, “예” 또는 “아니요”라고 말한 뒤, 고객의 질문이 미리 예상한 경로 중 하나와 일치하기를 바라는 방식이었죠. 이 모델은 대화가 이미 구축해 둔 범위 안에 머무를 때만 작동했습니다.

AI 에이전트는 이러한 제약을 없앴습니다. 이제 실시간으로 대화를 추론하고, 지식 베이스에서 정보를 가져오고, 도구를 호출하며, 앞서 나온 내용을 기억할 수 있으므로 더 이상 고정된 스크립트에 제한되지 않습니다.

하지만 이러한 변화가 대화형 AI 디자인의 필요성을 없앤 것은 아닙니다. 오히려 기준을 높였습니다. 의지할 경직된 스크립트가 없으므로, 미리 정해진 대화가 아닌 개방형 실시간 대화에서도 유지될 수 있도록 에이전트의 페르소나, 워크플로, 의사 결정 지점을 충분히 잘 정의해야 합니다.

이 가이드에서는 채팅과 음성 에이전트를 위한 대화형 AI 디자인이 실제로 무엇을 의미하는지, 이미 평가받고 있는 지표에 왜 중요한지, 그리고 더 자연스럽게 느껴지도록 무엇을 최적화해야 하는지 살펴봅니다. 이를 제대로 구현하면 고객과 연결되고 더 빠르고 나은 서비스를 제공하는 AI 에이전트를 배포할 수 있습니다.

요약

• 대화형 AI 디자인은 대화가 자연스럽게 느껴지도록 AI 에이전트의 커뮤니케이션을 구성하고 최적화하는 방식을 말합니다.
• 음성 AI는 텍스트보다 허용 범위가 좁습니다. 채팅 인터페이스에서는 눈에 띄지 않는 음성, 지연 시간, 타이밍 문제가 음성 대화에서는 로봇처럼 느껴지게 할 수 있기 때문입니다.
• ElevenAgents는 음성, 페르소나, 대화 흐름을 제어하고 모든 채널에서 지연 시간을 최적화할 수 있는 기능을 결합해 사람 같은 AI 음성 및 채팅 에이전트를 구현하도록 설계되었습니다.

대화형 AI 디자인이란 무엇인가요?

대화형 AI 디자인은 AI 에이전트의 행동 방식을 구성하는 UX 실무입니다. 페르소나부터 가드레일, 워크플로, 참조하는 지식 베이스까지 모든 요소가 함께 작동하여, 대화가 제품 경험의 다른 부분만큼 완성도 높게 느껴지도록 합니다.

다만 이 구성은 모든 환경에서 같지 않습니다. 에이전트는 하나의 구성으로 채팅, 음성, SMS 등 여러 채널에서 작동할 수 있습니다. 채널마다 제약이 있지만, 음성은 그 제약이 가장 엄격합니다. 음성이 에이전트의 채널 중 하나라면, 에이전트는 음성을 선택하고 제공하며, 실시간으로 속도와 턴 테이킹을 관리하고, 통화가 끊긴 것처럼 느껴지기 전에 응답을 내보내야 합니다. 약간 느리거나 완벽하지 않은 응답이 상호작용을 거의 망치지 않는 채팅과 달리, 음성에서는 이 모든 것이 선택 사항이 아닙니다.

채팅 에이전트에 대화형 AI 디자인을 구현할 때 고려해야 할 사항과 음성이 추가하는 요소는 다음과 같습니다.

고객은 이러한 요소를 하나하나 의식적으로 평가하지 않습니다. 그저 무언가 어색하다고 느낄 뿐이며, 그 느낌만으로도 에이전트 전체에 대한 신뢰가 약화되어 처음에 에이전트를 배포한 목표가 위협받을 수 있습니다.

좋은 사용자 경험을 위해 대화형 AI 디자인이 중요한 이유

턴 테이킹, 지연 시간, 페르소나 등 앞서 다룬 모든 요소는 고객이 지지자 또는 비판자가 될 수 있는 중요한 순간에 브랜드를 인식하는 방식에 영향을 줍니다. 이러한 인식은 팀이 평가받는 지표에 직접 반영됩니다.

• 더 높은 만족도와 해결률: 에이전트가 신속하게 응답하고 어색하게 끼어들지 않으면 고객은 상호작용을 더 높게 평가합니다.
• 이탈 감소: 고객이 대화에서 이탈하는 이유는 긴 대기 시간뿐만이 아닙니다. 통화 중 어색한 침묵이나 채팅에서 딱딱하고 브랜드와 맞지 않는 답변처럼 기대에 맞지 않는 전달 방식도 대화를 끝내고 싶게 만들 수 있습니다.
• 더 빠른 문제 해결: 명확한 대화 흐름 설정과 잘 설계된 워크플로는 막다른 길, 반복 질문, “담당자에게 연결해 드리겠습니다”라는 상황을 줄여 줍니다.
• 상담원 이관 감소: 에이전트가 자연스럽게 대화 흐름을 처리하고 정의된 워크플로를 따르면 고객을 혼란스럽게 해 사람을 찾게 하는 대신, 첫 시도에서 더 많은 문제를 해결합니다.

예를 들어 eDreams ODIGEO를 살펴보세요. 세계 최대 온라인 여행 플랫폼 중 하나인 이 기업은 AI 에이전트를 ElevenAgents와 함께 5개 핵심 언어에 배포했으며, 저지연 음성 합성과 더 정확한 의도 인식을 각 통화 시작 시 적용한 결과, 해결 속도는 두 자릿수로 개선되고 통화 이관율은 두 자릿수로 감소했습니다. 이러한 결과는 대화 디자인 외에도 다양한 변수에 따라 달라지지만, 우수한 대화형 AI 디자인이 무엇을 가능하게 하는지 보여 줍니다.

ElevenAgents에서 대화형 AI 디자인이 작동하는 방식

ElevenAgents에서는 에이전트가 사람처럼 느껴지는지를 결정하는 요소인 페르소나, 음성, 턴 테이킹, 이관, 지연 시간 등을 최적화할 수 있습니다. 실제 대화에서 에이전트가 제 역할을 하도록 각각을 구성하고 최적화하는 방법을 살펴보겠습니다.

페르소나 및 음성 선택

페르소나는 고객의 첫인상을 결정하며, 일치하지 않으면 대화가 시작되기도 전에 신뢰를 약화시킵니다. 친근한 리테일 브랜드에 지나치게 딱딱한 페르소나를 적용하면, 에이전트가 유용한 말을 하기도 전에 고객은 이를 의심하게 됩니다. 시스템 프롬프트에서 에이전트의 역할, 성격, 가드레일을 정의하며 페르소나를 먼저 설계하세요.

음성 에이전트의 경우, 그 페르소나가 음성에도 드러나야 합니다. 금융 관련 통화에 지나치게 캐주얼한 음성을 사용하면 텍스트에서 페르소나가 맞지 않을 때와 같은 신호를 보내므로, 음성 선택도 같은 작업의 일부가 됩니다. 다음부터 시작하세요.

• 음성 선택: 브랜드, 대상 고객, 주제에 맞는 음성을 선택하세요. 억양, 성별, 톤은 특정 발신자와 신뢰를 쌓고 대화의 분위기를 설정하는 데 도움이 됩니다.
• 다국어 지원: 모든 시장에서 하나의 음성을 기본값으로 쓰는 대신, 지원하는 언어마다 음성을 선택하세요. 하나의 음성을 여러 언어에 억지로 적용하면 적어도 한 언어에서는 이질적으로 들리기 쉬워, 구축하려는 신뢰를 약화시킵니다.

ElevenAgents에서는 보이스 라이브러리에서 억양, 캐릭터, 사용 사례별로 검색할 수 있는 11,000개 이상의 음성을 이용할 수 있으므로, 처음부터 시작할 일은 거의 없습니다. 적합한 음성이 없다면 두 가지 옵션이 더 있습니다. 짧은 오디오 샘플로 기존 음성을 복제하거나 처음부터 음성 디자인하기를 통해 원하는 연령, 억양, 톤, 속도를 설명하는 텍스트 프롬프트로 음성을 만들 수 있습니다.

대화 흐름 설정

음성 대화는 가장 엄격한 시간 기준으로 진행됩니다. 잠시 멈춤이 단순한 여백인 채팅과 달리, 통화에서 리듬이 끊기면 즉시 정적이나 연결 끊김으로 인식됩니다. 이 리듬을 제대로 맞추는 것은 음성 에이전트가 대화의 자연스러운 참여자처럼 느껴지게 하는 가장 큰 요소이며, 턴 테이킹 모델 자체에서 시작됩니다.

ElevenLabs의 턴 테이킹 모델은 화자가 단순히 잠시 멈춘 것이 아니라 실제로 말을 마쳤는지 감지하도록 구축된 연구 기반 시스템입니다. 이를 통해 고정된 지연 시간을 기준으로 추측하는 대신, 에이전트가 언제 응답해야 하는지 판단할 수 있습니다.

이 밖에도 대화 흐름을 올바르게 설정하기 위해 조정할 수 있는 항목은 다음과 같습니다.

• 턴 타임아웃: 고객이 아직 생각 중일 때 끼어들거나 말을 마친 뒤 기다리게 하지 않도록, 에이전트가 응답하기 전 침묵 상태에서 기다리는 시간입니다. 
• 소프트 타임아웃: 처리 중 발생하는 잠깐의 공백을 연결하기 위해 에이전트가 사용하는 “잠시만요” 또는 “확인해 보겠습니다” 같은 짧은 필러 문구입니다. 고객이 통화가 끊겼다고 생각하지 않게 합니다. 실제 응답 시간은 달라질 수 있으므로 “1초만요”처럼 특정 시간을 약속하는 필러는 피하세요.
• 인터럽션: 고객이 에이전트의 말에 겹쳐 말하기 시작했을 때 에이전트가 말을 멈출지 여부입니다. 자연스러운 대화를 위해 활성화하세요. 법적 고지, 안전 안내 또는 전체 내용을 반드시 들어야 하는 경우처럼 완전한 전달이 중요하다면 비활성화하세요.
• 턴 응답 민첩도: 고객이 말을 멈춘 뒤 에이전트가 얼마나 빠르게 응답하는지를 의미합니다. 빠른 응답이 가장 중요한 고객 서비스에는 “적극적”이 적합합니다. 전화번호나 이메일 주소처럼 고객 정보를 수집할 때는 숫자를 말하는 중간에 끊지 않도록 “인내심 있는” 설정이 가장 좋습니다. 일반적인 대화에는 “보통”이 좋은 기본값입니다.

이 부분의 작은 조정도 큰 차이를 만듭니다. 타임아웃을 조금만 바꿔도 세심하게 느껴지는 에이전트와 사람의 말을 끊는 것처럼 느껴지는 에이전트를 가를 수 있습니다. 

워크플로, 이관 디자인 및 스크립팅

워크플로는 ElevenAgents에서 대화형 AI 디자인의 상당 부분을 실제로 구현하는 곳입니다. 무엇이 언제 일어나는지, 즉 의사 결정 지점, 에스컬레이션 경로, 이관 등 에이전트의 즉흥적 판단에 맡겨질 모든 것을 정의합니다. 

워크플로는 에이전트를 정교화하는 두 가지 다른 시스템과 함께 작동합니다. 시스템 프롬프트는 인사나 이관 같은 주요 시점에서 역할, 톤, 말할 내용과 말하지 않을 내용 등 에이전트의 핵심 동작을 정의합니다. 프로시저는 고객 신원 확인이나 반품 절차 안내처럼 하나의 명확한 작업을 위한 더 규정적인 옵션입니다. 고객의 말에 따라 분기하지 않고, 대화가 어떻게 진행되든 처음부터 끝까지 단계별로 고정된 순서를 따릅니다.

에이전트 구축을 가장 쉽게 시작하는 방법은 사전 구축된 에이전트 템플릿을 사용하는 것입니다. 워크플로와 시스템 프롬프트의 시작점을 모두 제공하므로 처음부터 구축하는 대신 미세 조정할 수 있습니다. 이를 나만의 것으로 만들기 위해 다음과 같은 변경부터 시작해 보세요.

• 의사 결정 매핑: 대화의 시작부터 해결까지 전체 대화가 정의되도록 모든 의사 결정 지점에서 에이전트가 정확히 무엇을 하는지 매핑하세요. 서브에이전트 노드를 사용하면 흐름의 특정 지점에서 시스템 프롬프트, 모델, 심지어 음성까지 조정할 수 있으므로, 민감한 인증 단계에 통화 초반의 가벼운 잡담보다 더 엄격한 가드레일을 적용할 수 있습니다.
• 에스컬레이션 트리거: 에이전트가 그 순간 판단하도록 두는 대신, 워크플로에 사람에게 이관할 명확한 트리거를 구축하세요. 예를 들어 두 번 시도한 후에도 문제가 해결되지 않을 때, 고객이 관리자와의 통화를 요청할 때, 또는 거래가 민감하거나 고가여서 담당자가 필요할 때 에스컬레이션하도록 설정할 수 있습니다.
• 이관 컨텍스트: 시스템 프롬프트에서 이관 전에 에이전트가 수집해야 할 주문 ID나 계정 번호 같은 정보와 이관을 유발하는 조건을 정의하세요. 그런 다음 저장된 세부 정보를 이관 도구 구성에 매핑하면 고객이 상담원에게 같은 내용을 반복하지 않아도 자동으로 전달됩니다.
• 스크립트 문구: 시스템 프롬프트에서 중요한 순간에 사용할 정확한 문구를 정의하세요. 시작 인사, 오류 메시지, 법적 고지, 에스컬레이션 이관은 에이전트가 즉석에서 만들어 내도록 두어서는 안 됩니다. 문제가 발생했을 때 표현 방식을 에이전트가 추측하게 하는 것보다 “현재 해당 정보에 접근하는 데 문제가 있습니다”처럼 정확한 문구를 지정하는 편이 더 신뢰할 수 있습니다.

워크플로 자체는 ElevenAgents에서 시각적 그래프로 구축되며, 각 의사 결정 지점과 에스컬레이션 트리거는 직접 보고 편집할 수 있는 노드로 매핑됩니다.

배포 후에는 분석 기능이 실제 대화 데이터를 동일한 그래프에 오버레이하므로, 고객이 정확히 어디에서 막히거나 이탈하는지 확인하고 추측 없이 수정할 수 있습니다.

지연 시간 및 성능

지연 시간은 상호작용이 사람처럼 느껴지는지를 결정하는 가장 큰 요소 중 하나입니다. 대화의 다른 모든 부분이 잘 진행되더라도 느린 응답은 고객에게 기계와 대화하고 있음을 가장 빠르게 상기시키는 방법 중 하나입니다.

에이전트가 채팅 또는 음성으로 작동하든 파이프라인의 모든 부분은 자체적인 지연 시간을 더합니다. 일부는 어느 방식에나 적용되고, 다른 일부는 음성이 포함될 때만 적용됩니다.

• LLM: 모든 모델 선택에는 비용, 추론 품질, 속도 간의 트레이드오프가 있으며, 적절한 균형은 대화에 따라 달라집니다. FAQ나 예약 확인처럼 단순하고 빈도가 높은 상호작용은 경험을 해치지 않고 더 빠르고 가벼운 모델에서 실행할 수 있습니다. 재무 자문이나 여러 단계의 문제 해결처럼 더 복잡한 작업에는 응답이 조금 느리더라도 일반적으로 더 강력한 추론 모델에 비용을 지불할 가치가 있습니다. 
• 지식 베이스 및 RAG: 지식 베이스를 조회할 때마다 에이전트가 응답하기 전에 왕복 시간이 추가되므로, 광범위하게 검색해야 하는 지식 베이스보다 간결하고 집중된 지식 베이스가 더 빠르게 응답합니다.
• 통합 및 도구 호출: Salesforce에서 주문을 조회하거나 캘린더에서 가능 여부를 확인하는 등 외부 도구를 호출할 때마다 자체적인 왕복 시간이 추가됩니다. 에이전트가 어떤 도구를 호출할지 망설이지 않도록 명확한 도구 설명을 작성하고, 대화에 실제로 필요한 도구만 호출하세요.
• 지역 및 데이터 호스팅: ElevenAgents 리전을 데이터가 호스팅되는 위치에 맞추고, 전화 기반 배포의 경우 통신 제공업체의 리전(Twilio, SIP 등)에도 맞추세요. 에이전트 리전과 통화 게이트웨이 리전이 세계의 반대편에 있다면, 대화가 시작되기도 전에 그 거리만큼 지연 시간이 추가됩니다.
• 음성-텍스트 변환(음성 전용): Scribe는 에이전트가 추론하기 전에 고객의 말을 텍스트로 변환합니다. 속도보다 정확도를 위해 만들어진 배치 버전 대신, 실시간 대화에는 실시간 버전(Scribe v2 Realtime)을 사용하세요.
• 턴 테이킹(음성 전용): 에이전트가 언제 응답하기로 결정하는지를 정하며, 위에서 자세히 다뤘습니다. 턴의 끝을 감지하는 데 주저하는 모델은 파이프라인의 나머지 부분이 시작되기도 전에 지연을 더하므로, 자체적인 지연 시간 요인으로 기억할 필요가 있습니다.
• 텍스트 음성 변환 및 음성 선택(음성 전용): 기본 및 합성 음성과 Instant Voice Clone은 Professional Voice Clone보다 더 빠르게 응답합니다. 추가 충실도가 지연 시간의 트레이드오프를 감수할 만한 경우에만 Professional Voice Clone을 사용하세요.

지연 시간을 더 자세히 알아보려면 지연 시간 최적화 모범 사례와 파이프라인 전반에서 지연 시간을 측정하고 보고하는 방법을 확인하세요.

ElevenAgents로 첫 번째 에이전트 디자인하기

여기서 다룬 요소는 AI 에이전트에 대화형 AI 디자인을 실제로 적용하는 방법입니다. 모두 ElevenAgents에 기본으로 제공되며 노코드 콘솔에서 구성할 수 있으므로, 단순히 질문에 정확히 답하는 에이전트가 아니라 실제 대화를 나누는 에이전트를 구축할 수 있습니다.

직접적인 도움을 원하는 팀을 위해 ElevenLabs 포워드 디플로이드 엔지니어가 팀과 직접 협력하여 프로덕션 준비가 된 에이전트를 범위 설정, 구축, 출시하고, 배포 후에도 성능을 미세 조정합니다.

직접 구축하든 지원을 받든, 차이를 가장 빠르게 확인하는 방법은 직접 사용해 보는 것입니다. 지금 바로 에이전트를 만들거나 영업팀과 상담하세요.

대화형 AI 디자인 FAQ