웨비나 요약: Admiral이 AI 에이전트로 보험 전화를 처리하는 방법

Admiral은 영국, 이탈리아, 프랑스, ​​스페인 등을 포함해 전 세계에서 여러 언어로 연간 수백만 건의 고객 상호작용을 처리합니다.

최근 웨비나 에이전트의 비하인드 스토리: Admiral이 AI 에이전트로 보험 통화를 처리하는 방법에서 Admiral의 생성형 AI 그룹 총괄인 Dominika Kampa는 아키텍처, 테스트 기준, 조직 차원의 준비를 포함해 이러한 규모를 처리할 AI 레이어를 팀이 어떻게 구축하고 있는지 설명했습니다.

Admiral의 북극성은 보험 분야에서 가장 신뢰받는 고객 경험을 구축하는 것이었습니다 

Admiral의 목표는 새로운 차원의 고객 경험을 구축하는 것이었습니다.

고객의 문제를 실제로 해결하지 않으면서 대화를 빠르게 끝내는 에이전트는 쉽게 만들 수 있습니다. 

Admiral이 궁극적으로 지향하는 것은 모든 고객이, 모든 채널에서, 중요한 모든 순간에 즉시 문제를 해결받거나 고객과 맥락, 해결하려는 상황을 이해하는 사람에게 연결되는 것입니다.

핵심 지표는 첫 번째 문의에서 90%를 해결하는 것이었습니다. 또한 24시간 연중무휴 서비스 제공, 간결한 상호작용, 그리고 크게 향상된 NPS도 추적했습니다. 

자체 해결률은 부차적인 지표였습니다. 첫 번째 음성 사용 사례에서 고객들이 에이전트가 더 빠르다는 것을 알게 되면서 팀은 이 수치를 크게 개선했습니다.

하지만 해결이 기준점이었습니다. Admiral은 통화가 에스컬레이션되었는지와 별개로 고객이 실제로 문의한 목적을 달성했는지를 별도 지표로 추적합니다. 따라서 의도적으로 사람에게 연결하는 것은 실패로 집계되지 않습니다.

규제 산업에서 ‘좋은’ 수준의 기준

Admiral의 프로덕션 기준은 높습니다. 에이전트 솔루션이 출시되기 전, 현재의 상담원만큼 잘하거나 그보다 더 잘해야 한다고 봅니다.

기존에는 가장 숙련된 상담원의 감각에 의존하던 엣지 케이스 지식도 이제는 모든 사용 사례마다 명시적으로 테스트해야 합니다.

실무적으로 팀은 의도적으로 범위의 경계를 정했습니다. 예를 들어, 해당 사용 사례의 엣지 케이스를 더 학습하는 동안 취약 고객 및 연체 고객 사례는 사람에게 계속 연결합니다.

대부분의 보험 규제가 결과 기반이라는 점에서, Dom은 고객과 비즈니스의 결과가 의도한 대로 정확히 달성된다면 ‘어떻게’는 유연하게 접근할 수 있다는 실용적인 관점을 갖고 있습니다.

지시는 공감을 만들지 못합니다

규제 대상 조직은 지시받는다고 해서 AI를 도입하지 않습니다. 

Dom은 Admiral에 합류하기 전 McKinsey에서 변화 관리 프로그램을 수년간 담당했습니다. 오늘날 에이전틱 AI 도입을 설득해야 하는 동료에게 어떤 조언을 하겠느냐는 질문에, 당시의 플레이북에서 얻은 세 가지 원칙을 제시했습니다.

1) 사람들은 자신이 만드는 일에 지지를 보냅니다

Admiral은 회의적인 사람들에게 도구를 직접 사용해 보게 하는 방식으로 대응했습니다.

팀은 에이전틱 AI가 무엇인지 이해시키기 위해 그룹의 상위 리더 50명을 포함한 조직 전반에서 데모와 교육 세션을 진행했습니다. ElevenLabs와 Dom은 그룹 CEO인 Milena Mondini de Focatiis를 포함한 경영진이 처음부터 에이전트를 직접 구축하는 교육의 날을 운영했습니다. Dom의 표현을 빌리면, 모두가 “실제로… 경험을 즐겼습니다”.

2) 기술만의 문제가 아닙니다

비전은 손익(P&L)의 변화, 고객 경험의 변화, 직원 경험의 변화를 위한 것입니다.

사람들이 결과에 뜻을 모으면 기술적 선택지는 자연스럽게 정리됩니다. Dom은 기술부터 시작하지 말라고 조언했습니다.

3) 거버넌스를 일찍 구축하세요

초기부터 적절한 접점, 적절한 KPI, 적절한 데이터를 갖추면 의사결정이 훨씬 쉬워집니다. 그녀의 말에 따르면, 피해야 할 방식은 직감에 의존하다가 아무도 사용하지 않고 중요하게 여기는 어떤 지표도 개선하지 못하는 “아주 멋진 산출물”을 만드는 것입니다.

도입 모델도 중요했습니다. Admiral은 그룹의 한 부문을 선택해 한 가지 주제를 깊이 실험한 뒤, 그 학습 내용을 다른 모든 곳에 적용하는 방식을 택했습니다.

먼저 신속하게 후속 적용한 후 전체로 확장합니다. Dom이 말했듯 한 도메인의 한 사용 사례에만 적용했다면 속도가 크게 느려졌을 것입니다. 대신 바퀴를 열 번 다시 발명하지 않는다는 원칙을 의도적으로 지켰습니다.

데모 1: 상환 견적(Admiral Money)

시나리오: 고객이 대출금을 조기 상환하려고 합니다. 필요한 것은 상환에 필요한 금액뿐인 간단한 요청입니다.

기존에는 이 금액을 확인하려면 IVR을 거치고, 상담원을 통해 본인 확인을 하고, 백엔드 시스템이 계산을 수행하며 화면이 로드될 때까지 기다린 뒤, 받은편지함에 PDF가 도착하기를 기다려야 했습니다. 답은 하나인 질문에 5분이 걸리는 프로세스였습니다.

Admiral의 생성형 AI 그룹 총괄 Dan Clark이 팀이 구축한 내용을 설명했습니다.

시연 내용:

• 인증은 다른 어떤 단계보다 먼저 workflow 시작 시 독립적인 하위 에이전트로 실행됩니다.
• 감시 하위 에이전트가 발신자가 AI 에이전트와 대화할 자격이 있는지 확인합니다. 취약 고객과 연체 고객은 팀이 더 많은 엣지 케이스를 학습하는 동안 상담원이 있는 우선 처리 대기열로 연결됩니다. 
• 에이전트는 필요한 답변을 예측해 미리 수집하고, 기존 화면을 기다리는 대신 API 기반으로 작동합니다. 상담원과 함께하면 약 5분 걸리는 동일한 여정이 에이전트와 함께하면 약 2분 30초가 걸립니다.
• 성공 여부는 고객이 인증을 완료하고 상환 견적을 받았는지로 측정하며, 에스컬레이션과는 별도로 추적합니다.
• 통화가 끝나면 피드백 에이전트가 고객에게 경험을 1점부터 5점까지 평가해 달라고 요청합니다. 에스컬레이션되지 않은 통화는 거의 모두 4점과 5점을 받습니다.

중요한 이유: 절약되는 시간은 사람이 아닌 AI가 답변해서가 아니라 workflow가 화면 기반이 아닌 API 기반이기 때문입니다. Dan의 말처럼, 이는 통화 시간을 줄이고 그 결과 더 나은 고객 경험을 제공하는 데 중점을 둡니다. 또한 현재의 에스컬레이션은 에이전트가 도움을 주지 못해서가 아니라, 팀이 학습 과정에서 의도적으로 설정한 한계를 반영합니다.

데모 2: Olivia(L’Olivier)

시나리오: 프랑스의 한 고객이 자신의 보험 상품에 관해 질문이 있습니다. 웹사이트에서 채팅을 열면 구식 트리 기반 도구인 Ollie Bot이 표시됩니다(“이것은 A를 누르고, 저것은 B를 누르세요”). 고객의 질문은 A도 B도 아니어서 답을 얻지 못한 채 떠납니다.

L’Olivier가 바꾸고자 했던 경험이 바로 이것이었습니다. 팀은 현재 사이트에서 운영 중인 ElevenLabs 기반 지식 베이스 에이전트 Olivia를 구축했습니다.

시연 내용:

• 시스템 프롬프트, 첫 메시지, workflow, 하위 에이전트는 모두 영어에서 번역한 것이 아니라 프랑스어로 직접 작성되었습니다. Dan은 고객의 언어로 프롬프트를 작성하면 모델이 다르게 반응한다는 연구를 언급하며, 팀도 이 방식에서 훨씬 더 나은 결과를 확인했다고 말합니다. 필요할 때 Olivia는 영어를 자동 감지해 영어로 응답합니다. 
• 실제 고객 대화를 지식 베이스와 대조해 빈틈을 찾아내며, 수정 사항은 보통 1~2시간 내에 운영 중인 에이전트에 반영됩니다.
• 변경 사항은 점진적 트래픽 분할을 적용한 브랜치에 배포됩니다. 1%, 2%, 5%, 10%, 25%, 50%, 그리고 100% 순이며, 실제 트래픽에 도달하기 전에 시뮬레이션 테스트와 수동 미리보기를 진행합니다. 데이터가 변경을 뒷받침하지 않으면 트래픽은 즉시 0으로 돌아가며, 롤백할 필요도 없습니다. 
• 전체 브랜치 주기는 시작부터 끝까지 몇 시간에서 하루 정도 걸립니다. 더 이상 2주 스프린트와 2주 배포는 없습니다.

중요한 이유: 릴리스 주기가 몇 주에서 몇 시간으로 줄어든 것만으로도 주목할 만하지만, 더 큰 통찰은 언어가 단순한 현지화 요소가 아닐 수 있다는 점입니다. 언어는 모델의 추론 방식까지 바꿀 수 있습니다. 

새 시장에서는 어떤 플레이북도 그대로 통하지 않습니다

대화 순서를 주고받는 관습, 끼어드는 것에 대한 허용도, 자연스러운 대화 리듬으로 여겨지는 기준은 시장마다 크게 다릅니다. 

만능 해결책은 없습니다. Dom에 따르면, 프롬프트와 아키텍처를 이해하는 엔지니어와 현지 시장의 맥락을 생생하게 전달할 수 있는 현지 법인의 비즈니스 오너를 짝지어, 그 조합을 배포 단위로 삼는 방식이 효과적입니다.

구축 자체는 시장마다 크게 다르지 않습니다. 다른 것은 도입입니다. Dom은 이것이 고객 운영뿐 아니라 모든 AI 배포에 해당한다고 봅니다.

그래서 팀은 기반 모델 자체보다 고객 교육(환영 메시지, 포지셔닝, IVR 메시지 등)에 더 많은 시간을 쓸 것으로 예상합니다.

시장 전반의 공정한 대우

보험에서 취약성 감지는 모든 시장, 언어, 채널에서 일관되게 유지되어야 하는 기본 기준입니다.

Admiral은 여러 경로를 통해 감지합니다. 특히 취약성 감지에서는 어느 한 가지 방법만 신뢰하지 않고, 검증된 머신러닝 모델을 생성형 AI와 함께 의도적으로 운영합니다. 따라서 어떤 신호가 먼저 감지되든 취약 고객을 어느 단계에서나 포착하고, 적절한 방식으로 서비스를 제공할 수 있습니다.

이 기준은 기술에 사례를 맡기기 전부터 적용됩니다. 상환 견적 에이전트에서는 감시 하위 에이전트가 모든 발신자를 선별하며, 취약 고객이나 연체 고객은 상담원이 있는 우선 처리 대기열로 바로 연결됩니다. 이는 팀이 더 많은 엣지 케이스를 학습하는 동안 설정한 의도적인 경계입니다.

또한 고객은 예측할 수 없기 때문에(예를 들어, 누군가는 Olivia에게 양파 수프 만드는 법을 물었습니다) 팀은 가드레일과 예상치 못한 상황을 선제적으로 표시하는 기능을 결합합니다. 이를 통해 누가 어떤 방식으로 도구와 상호작용하는지 항상 파악할 수 있습니다.

에이전트를 만드는 팀 

Admiral은 그룹 차원의 전문성이 ‘허브’에 있고, 시장과 고객, 직원을 잘 아는 현지 전문가가 ‘스포크’에 있는 허브 앤 스포크 모델을 운영합니다.

센터 오브 엑설런스는 두 부분으로 나뉩니다. 첫째는 전략, 로드맵, 제품 설계, A/B 테스트를 포함한 결과 테스트를 담당하는 가치 실현 부문입니다. 둘째는 구축되는 모든 것이 기준을 충족하고 기존 시스템 전반과 통합되도록 하는 엔지니어, 아키텍트, 딜리버리 담당자로 구성된 기술 부문입니다.

Dom이 생각하는 미래의 AI 엔지니어는 코드를 작성하는 일보다 생성형 AI의 작동 방식을 이해하고, 아이디어를 제대로 구조화하며, 에이전틱 코딩을 활용해 결과물을 제공하는 일에 훨씬 더 집중합니다.

핵심 팀 주변에는 프로세스 전문가와 비즈니스 오너가 제품 및 기술 인재와 함께 소규모 포드로 구성됩니다. 그녀의 표현을 빌리면, 함께 구축하고 테스트하도록 “한 방에 가두고”, 실제 고객에게 제공해 문제점을 찾아내게 하는 방식입니다.

Admiral의 로드맵 우선순위 설정 방식 

여기에서도 허브 앤 스포크 모델이 역할을 합니다. 그룹은 위험과 가치가 더 높고 실현 가능성은 다소 낮아 중앙 지원으로 병목을 해소할 수 있는 대형 프로젝트에 대해 타협 불가한 우선순위를 정합니다. 스포크는 역량이 있고 하향식 가이드라인 안에 머무르는 한, 상향식 혁신을 추진할 여지를 얻습니다.

팀이 구축 중인 미래 로드맵은 고객이 IVR, 음성 에이전트, 상담원, 채널을 오가더라도 같은 내용을 반복할 필요가 없도록 하는 데 초점을 맞춥니다. 단순히 대화 기록뿐 아니라 의도, 감정, 취약성 신호도 모든 핸드오프에서 이어집니다. 

전체 세션 보기

Admiral은 보험 분야에서 최고의 고객 경험을 구축한다는 목표에 더 가까이 다가가기 위해 검증 기준, 조직의 공감대, 기술 스택을 함께 재구축했습니다.

전체 웨비나는 여기에서 확인하세요.