웨비나 요약: Admiral이 AI 에이전트로 보험 전화를 처리하는 방법

Admiral은 영국, 이탈리아, 프랑스, 스페인 등을 포함해 전 세계에서 여러 언어로 연간 수백만 건의 고객 상호작용을 처리합니다.

최근 웨비나 에이전트 비하인드: Admiral이 AI 에이전트로 보험 문의를 처리하는 방법에서 Admiral의 생성형 AI 그룹 총괄인 Dominika Kampa는 아키텍처, 테스트 기준, 이를 뒷받침하는 조직 운영을 포함해 이처럼 많은 문의를 처리하기 위해 팀이 AI 레이어를 구축하는 방식을 소개했습니다.

Admiral의 최우선 목표는 보험 업계에서 가장 신뢰받는 고객 경험을 구축하는 것이었습니다 

Admiral의 목표는 완전히 다른 차원의 고객 경험을 만드는 것이었습니다.

고객의 문제를 실제로 해결하지 못하면서 대화만 빠르게 끝내는 에이전트를 만드는 일은 쉽습니다. 

궁극적으로는 모든 고객이 모든 채널에서 중요한 순간마다 즉시 문제를 해결하거나, 고객과 맥락, 해결하려는 상황을 이해하는 상담원에게 연결되는 것이 목표입니다.

핵심 지표는 최초 문의 해결률 90% 달성이었습니다. 또한 24시간 연중무휴 서비스 제공, 간결한 상호작용, 유의미하게 높은 NPS도 추적했습니다. 

자체 해결률은 보조 지표였습니다. 첫 번째 음성 활용 사례에서 고객들이 에이전트가 더 빠르다는 점을 알게 되면서 이 수치가 크게 개선됐습니다.

하지만 해결이 핵심 기준이었습니다. Admiral은 통화가 에스컬레이션됐는지와 별개로 고객이 실제로 문의한 내용을 해결했는지를 별도 지표로 추적합니다. 따라서 의도적으로 상담원에게 연결하는 것은 실패로 집계되지 않습니다.

규제 산업에서 ‘좋음’의 기준

Admiral의 프로덕션 기준은 높습니다. 출시 전에 에이전트형 솔루션이 현재의 상담원만큼 뛰어나거나 그 이상이기를 원합니다.

과거에는 가장 경력이 많은 상담원의 직관에 담겨 있던 엣지 케이스 지식을 이제는 모든 활용 사례에서 명시적으로 테스트해야 합니다.

실제로 팀은 의도적으로 범위의 경계를 설정했습니다. 예를 들어 팀이 해당 활용 사례의 엣지 케이스를 더 학습하는 동안 취약 고객과 연체 고객 사례는 계속 상담원에게 연결됩니다.

대부분의 보험 규제가 결과 중심인 만큼, Dom은 고객과 비즈니스의 결과가 의도한 대로 정확히 달성된다면 ‘방법’은 유연할 수 있다는 실용적인 관점을 취합니다.

공감대는 지시만으로 형성되지 않습니다

규제 산업의 조직은 지시받는다고 해서 AI를 도입하지 않습니다. 

Dom은 Admiral에 합류하기 전 McKinsey에서 수년간 변화 관리 프로그램을 담당했습니다. 오늘날 에이전트형 AI 도입을 설득하는 동료에게 어떤 조언을 하겠느냐는 질문에, 그녀는 그 경험에서 얻은 세 가지 원칙을 제시했습니다.

1) 사람들은 자신이 만드는 데 참여한 것을 지지합니다

Admiral은 회의적인 사람들에게 도구를 직접 보여주는 방식으로 대응했습니다.

팀은 에이전트형 AI가 무엇인지 쉽게 이해할 수 있도록 조직 전체에서 데모와 교육 세션을 진행했습니다. 여기에는 그룹의 상위 리더 50명도 포함됐습니다. ElevenLabs와 Dom은 그룹 CEO Milena Mondini de Focatiis를 비롯한 리더십 팀이 처음부터 에이전트를 직접 만드는 교육 데이를 진행했습니다. Dom의 말에 따르면, 이들은 “정말로… 경험을 즐겼습니다.”

2) 기술만의 문제가 아닙니다

비전은 손익(P&L)의 변화, 고객 경험의 변화, 직원 경험의 변화를 위한 것입니다.

사람들이 결과에 공감하면 기술적 선택지는 자연스럽게 정해집니다. Dom은 기술에서 시작하지 말라고 조언했습니다.

3) 거버넌스를 일찍 구축하세요

초기부터 적절한 접점, 적절한 KPI, 적절한 데이터를 갖추면 의사결정이 훨씬 쉬워집니다. 그녀의 말에 따르면 안 좋은 패턴은 직감에 의존하다가 아무도 사용하지 않고 중요하게 여기는 어떤 지표도 움직이지 못하는 “아주 멋진 결과물”로 끝나는 것입니다.

출시 모델도 중요했습니다. Admiral은 그룹 내 한 부문을 선택해 하나의 주제를 깊이 실험하고, 그 학습을 다른 모든 곳에 적용하는 방식을 택했습니다.

먼저 빠르게 후속 적용한 뒤 전체 출시를 진행합니다. Dom은 한 도메인에서 하나의 활용 사례만 추진했다면 속도가 크게 느려졌을 것이라고 말합니다. 대신 바퀴를 열 번 다시 발명하지 않는다는 원칙을 의도적으로 지켰습니다.

데모 1: 조기 상환 견적(Admiral Money)

시나리오: 고객이 대출을 조기에 상환하고 싶어 합니다. 상환에 필요한 금액만 알면 되는 간단한 요청입니다.

기존에는 그 금액을 확인하려면 IVR을 거치고, 상담원에게 본인 인증을 받고, 백엔드 시스템이 계산을 수행하고 화면이 로드될 때까지 기다린 뒤, 받은편지함에 PDF가 도착하기를 기다려야 했습니다. 답이 하나인 질문을 위해 5분이 걸리는 과정이었습니다.

Admiral의 생성형 AI 그룹 총괄 Dan Clark이 팀이 구축한 내용을 소개했습니다.

시연 내용:

• 인증은 다른 어떤 작업보다 먼저 워크플로우 시작 단계에서 독립적인 서브 에이전트로 수행됩니다.
• 센트리 서브 에이전트는 발신자가 AI 에이전트와 대화할 수 있는 대상인지 확인합니다. 취약 고객과 연체 고객은 팀이 더 많은 엣지 케이스를 학습하는 동안 상담원이 있는 우선 대기열로 연결됩니다. 
• 에이전트는 필요한 답변을 미리 예측해 수집하고, 레거시 화면을 기다리지 않고 API 기반으로 작동합니다. 상담원을 이용하면 약 5분 걸리는 동일한 여정이 에이전트로는 약 2분 30초가 걸립니다.
• 성공 여부는 고객이 인증을 완료하고 조기 상환 견적을 받았는지로 측정하며, 에스컬레이션과는 별도로 추적합니다.
• 통화가 끝나면 피드백 에이전트가 고객에게 경험을 1점에서 5점으로 평가해 달라고 요청합니다. 에스컬레이션되지 않은 통화는 거의 모두 4점과 5점을 받습니다.

중요한 이유: 시간 절감은 사람이 아닌 AI가 답변하기 때문만이 아니라, 화면 기반이 아닌 API 기반 워크플로우 덕분입니다. Dan의 말처럼 이는 통화 시간을 줄이고 그 결과로 더 나은 고객 경험을 제공하는 데 중점을 둡니다. 현재의 에스컬레이션도 에이전트가 도움을 주지 못해서가 아니라, 팀이 학습 과정에서 의도적으로 설정한 한계를 반영한 것입니다.

데모 2: Olivia(L’Olivier)

시나리오: 프랑스의 한 고객이 자신의 보험 증권에 관해 질문이 있습니다. 웹사이트에서 채팅을 열면 구식 트리 기반 도구인 Ollie Bot이 나타납니다(“이것은 A를 누르고, 저것은 B를 누르세요”). 고객의 질문은 A도 B도 아니어서 답을 얻지 못한 채 떠납니다.

L’Olivier가 바꾸고자 한 경험이 바로 이것이었습니다. 팀은 현재 사이트에서 라이브로 운영되는 ElevenLabs 기반 지식 베이스 에이전트 Olivia를 구축했습니다.

시연 내용:

• 시스템 프롬프트, 첫 메시지, 워크플로우, 서브 에이전트는 모두 영어에서 번역하지 않고 프랑스어로 직접 작성했습니다. Dan은 고객의 언어로 프롬프트를 작성하면 모델이 다르게 작동한다는 연구를 인용하며, 팀도 이 방식에서 훨씬 더 좋은 결과를 확인했다고 말합니다. Olivia는 필요할 경우 영어를 자동 감지해 응답합니다. 
• 실제 고객 대화를 지식 베이스와 비교 검토해 빈틈을 찾아내며, 수정 사항은 보통 1~2시간 내에 라이브 에이전트에 반영됩니다.
• 변경 사항은 점진적인 트래픽 분할이 적용된 브랜치에 배포됩니다. 1%, 2%, 5%, 10%, 25%, 50%, তারপর 100% 순으로 진행하며, 라이브 트래픽에 반영되기 전에 시뮬레이션 테스트와 수동 미리보기를 거칩니다. 데이터가 변경을 뒷받침하지 않으면 트래픽은 즉시 0으로 돌아가며 롤백할 필요도 없습니다. 
• 브랜치의 전체 주기는 시작부터 끝까지 몇 시간에서 하루 정도 걸립니다. 더 이상 2주 스프린트와 2주 배포는 없습니다.

중요한 이유: 출시 주기가 수 주에서 수 시간으로 단축된 것만으로도 주목할 만하지만, 더 큰 인사이트는 언어가 단순한 현지화 요소에 그치지 않고 모델의 추론 방식까지 바꿀 수 있다는 점입니다. 

어떤 플레이북도 새로운 시장을 만나면 그대로 통하지 않습니다

대화 순서를 주고받는 관습, 끼어드는 말에 대한 허용도, 일반적인 대화 리듬으로 여겨지는 기준은 시장마다 크게 다릅니다. 

만능 해법은 없습니다. Dom에 따르면 효과적인 방식은 프롬프팅과 아키텍처를 아는 엔지니어와 시장 맥락을 구체화할 수 있는 현지 조직의 비즈니스 책임자를 짝지어, 그 조합을 배포 단위로 삼는 것입니다.

구축 자체는 시장마다 크게 다르지 않습니다. 도입은 다릅니다. Dom은 이것이 고객 운영뿐 아니라 모든 AI 배포에 해당한다고 봅니다.

그래서 팀은 기반 모델 자체보다 고객 교육(환영 메시지, 포지셔닝, IVR 메시지 등)에 더 많은 시간을 쓸 것으로 예상합니다.

시장 전반의 공정한 대우

보험에서 취약성 탐지는 모든 시장, 언어, 채널에 걸쳐 일관되게 적용돼야 하는 기본 기준입니다.

Admiral은 여러 경로로 탐지합니다. 특히 취약성의 경우 둘 중 하나만 신뢰하지 않고, 검증된 머신러닝 모델과 생성형 AI를 의도적으로 함께 운영합니다. 따라서 어떤 신호가 먼저 감지되든 취약 고객을 어느 단계에서나 포착하고 적절한 방식으로 지원할 수 있습니다.

이 기준은 기술에 해당 사례를 맡기기 전에도 적용됩니다. 조기 상환 견적 에이전트에서는 센트리 서브 에이전트가 모든 발신자를 선별하며, 취약 고객이나 연체 고객은 상담원이 있는 우선 대기열로 바로 연결됩니다. 이는 팀이 더 많은 엣지 케이스를 학습하는 동안 설정한 의도적인 경계입니다.

고객은 예측하기 어렵기 때문에(예를 들어 누군가는 Olivia에게 양파 수프 만드는 법을 물었습니다), 팀은 가드레일과 예상 밖의 상황을 사전에 플래그하는 기능을 결합합니다. 이를 통해 누가 어떤 방식으로 도구와 상호작용하는지 항상 파악할 수 있습니다.

에이전트를 만드는 팀 

Admiral은 그룹 수준의 전문성이 ‘허브’에 있고, 시장과 고객, 직원을 잘 아는 현지 전문가가 ‘스포크’에 있는 허브 앤 스포크 모델을 운영합니다.

센터 오브 엑설런스는 두 부분으로 나뉩니다. 첫째는 전략, 로드맵, 제품 설계, A/B 테스트를 포함한 결과 테스트를 담당하는 가치 실현 부문입니다. 둘째는 구축되는 모든 것이 기준을 충족하고 기존 시스템 환경과 통합되도록 하는 엔지니어, 아키텍트, 딜리버리 담당자로 구성된 기술 부문입니다.

Dom이 생각하는 미래의 AI 엔지니어는 코드를 작성하는 일보다 생성형 AI의 작동 방식을 이해하고, 아이디어를 제대로 구조화하며, 에이전트형 코딩을 활용해 결과를 만들어 내는 일에 훨씬 더 가깝습니다.

핵심 팀 주변에는 프로세스 전문가와 비즈니스 책임자가 제품 및 기술 인재와 함께 작은 포드로 묶입니다. 그녀의 표현을 빌리면 함께 구축하고 테스트하도록 “한 방에 가둬” 놓은 뒤, 실제 고객에게 맡겨 문제를 찾아내는 방식입니다.

Admiral이 로드맵의 우선순위를 정하는 방법 

여기에서도 허브 앤 스포크 모델이 역할을 합니다. 그룹은 위험과 가치가 더 높고 실현 가능성은 약간 낮아 중앙 지원으로 병목을 해소할 수 있는 대형 프로젝트에 대해 타협할 수 없는 우선순위를 정합니다. 스포크는 역량이 있고 하향식 가이드라인을 준수하는 한, 상향식 혁신을 추진할 여지를 얻습니다.

팀이 구축 중인 미래 로드맵은 고객이 IVR, 음성 에이전트, 상담원, 채널을 오가더라도 같은 말을 반복할 필요가 없게 한다는 목표에 초점을 맞춥니다. 단순히 대화 기록뿐 아니라 의도, 감정, 취약성 신호까지 모든 핸드오프에서 이어집니다. 

전체 세션 보기

Admiral은 보험 업계 최고의 고객 경험을 구축한다는 목표에 가까워지기 위해 검증 기준, 조직의 공감대, 기술 스택을 함께 새롭게 구축했습니다.

전체 웨비나는 여기에서 시청하세요.