웨비나 요약: Admiral이 AI 에이전트로 보험 전화를 처리하는 방법

Admiral은 전 세계 여러 언어로 매년 수백만 건의 고객 상호작용을 처리합니다(영국, 이탈리아, 프랑스, 스페인 포함).

최근 웨비나 Behind the Agent: Admiral이 AI 에이전트로 보험 전화를 처리하는 방법에서 Admiral의 생성형 AI 그룹 총괄 Dominika Kampa가 팀이 이처럼 많은 문의를 처리하기 위해 구축 중인 AI 레이어와 그 아키텍처, 테스트 기준, 조직 차원의 준비 과정에 관해 설명했습니다.

Admiral의 궁극적인 목표는 보험 업계에서 가장 신뢰받는 고객 경험을 구축하는 것이었습니다.

Admiral의 목표는 차별화된 고객 경험의 새로운 기준을 만드는 것이었습니다.

고객의 문제를 실제로 해결하지 않은 채 대화를 빠르게 종료하는 에이전트는 쉽게 만들 수 있습니다.

궁극적으로는 모든 고객이 어떤 채널에서든 중요한 순간마다 즉시 문제를 해결하거나, 고객과 맥락, 해결하려는 상황을 잘 아는 상담원에게 연결되도록 하는 것이 목표입니다.

주요 지표는 첫 문의 해결률 90% 달성이었으며, 여기에 24시간 연중무휴 서비스, 간결한 상호작용, 실질적으로 더 높은 NPS를 함께 목표로 했습니다.

자동 해결률은 부차적인 지표였습니다. 첫 번째 음성 사용 사례에서 고객들이 에이전트가 더 빠르다는 것을 알게 되면서 이 수치가 크게 개선됐습니다.

하지만 핵심은 해결이었습니다. Admiral은 통화가 상담원에게 이관됐는지와 별개로, 고객이 전화한 목적을 실제로 달성했는지를 별도 지표로 추적합니다. 따라서 의도적으로 상담원에게 연결하는 것은 결코 실패로 집계되지 않습니다.

규제 산업에서 ‘좋은’ 서비스의 기준

Admiral의 프로덕션 기준은 높았습니다. 에이전트 기반 솔루션은 출시 전에 현재 상담원만큼 훌륭하거나 그보다 나아야 한다고 봅니다.

검증 기준은 높이고 싶지만, 컴플라이언스 기준을 낮추고 싶지는 않습니다.

과거에는 가장 경력이 오래된 상담원의 직관에 의존했던 엣지 케이스 지식도 이제는 모든 사용 사례에서 명시적으로 테스트해야 합니다.

실제로 팀은 의도적으로 범위의 경계를 설정했습니다. 예를 들어, 취약 고객 및 연체 고객 사례는 팀이 해당 사용 사례의 엣지 케이스를 더 파악하는 동안 상담원에게 연결합니다.

대부분의 보험 규제가 결과 중심인 만큼, Dom은 고객과 비즈니스의 결과가 의도한 대로 정확히 나온다면 ‘어떻게’는 유연할 수 있다는 실용적인 관점을 갖고 있습니다.

지시는 공감을 이끌어내지 못합니다

규제 산업의 조직은 지시받았다고 해서 AI를 도입하지 않습니다.

Admiral에 합류하기 전 McKinsey에서 변화 관리 프로그램을 수년간 이끌었던 Dom은, 오늘날 에이전트 기반 AI 도입을 설득해야 하는 동료에게 어떤 조언을 하겠냐는 질문에 그 경험에서 얻은 3가지 원칙을 제시했습니다.

1) 사람들은 자신이 만드는 데 참여한 것을 지지합니다

Admiral은 회의적인 사람들에게 도구를 직접 사용해 보게 했습니다.

팀은 에이전트 기반 AI의 개념을 쉽게 이해할 수 있도록 그룹의 상위 50명 리더를 포함한 조직 전반에서 데모와 교육 세션을 진행했습니다. ElevenLabs와 Dom은 그룹 CEO Milena Mondini de Focatiis를 포함한 리더십 팀이 처음부터 에이전트를 직접 만드는 교육의 날을 운영했습니다. Dom의 표현을 빌리자면, 이들은 “정말로… 그 경험을 즐겼습니다”.

2) 기술만의 문제가 아닙니다

비전은 손익 변화, 고객 경험 변화, 직원 경험 변화를 아우릅니다.

사람들이 결과에 공감하면 기술적 선택지는 자연스럽게 정리됩니다. Dom은 기술부터 시작하지 말라고 조언했습니다.

3) 거버넌스를 일찍 구축하세요

초기부터 적절한 접점, KPI, 데이터를 갖추면 의사결정이 훨씬 쉬워집니다. Dom이 말한 안티패턴은 직감에 의존하다가 아무도 사용하지 않고 중요하게 여기는 어떤 지표도 개선하지 못하는 “아주 멋진 결과물”을 만드는 것입니다.

도입 방식도 중요했습니다. Admiral은 그룹 내 한 조직을 선정해 하나의 주제를 깊이 실험한 뒤, 그 학습을 다른 모든 곳에 적용하는 방식을 택했습니다.

먼저 빠르게 후속 적용하고 이후 전체 도입을 진행합니다. Dom은 한 영역의 단일 사용 사례에만 집중했다면 속도가 크게 느려졌을 것이라고 말합니다. 대신 같은 것을 10번 새로 만들지 않는다는 원칙을 철저히 지켰습니다.

데모 1: 상환 견적(Admiral Money)

시나리오: 한 고객이 대출을 조기 상환하고 싶어 합니다. 필요한 것은 상환 금액뿐인 간단한 요청입니다.

기존에는 이 금액을 확인하려면 IVR을 거치고, 상담원에게 신원을 확인받고, 백엔드 시스템이 계산을 실행하고 화면이 로드되기를 기다린 뒤, 받은 편지함으로 PDF가 오기를 기다려야 했습니다. 답이 하나인 질문을 위해 5분이 걸리는 프로세스였습니다.

Admiral의 생성형 AI 그룹 총괄 Dan Clark이 팀이 구축한 솔루션을 소개했습니다.

시연 내용:

• 인증은 다른 작업이 실행되기 전에 workflow 시작 단계에서 별도의 하위 에이전트로 진행됩니다.
• 센트리 하위 에이전트는 발신자가 AI 에이전트와 대화할 수 있는 대상인지 확인합니다. 취약 고객 및 연체 고객은 팀이 더 많은 엣지 케이스를 파악하는 동안 상담원이 있는 우선 처리 대기열로 연결됩니다.
• 에이전트는 예측 방식으로 답변을 미리 수집하며, 레거시 화면을 기다리지 않고 API 기반으로 작동합니다. 상담원과 진행하면 약 5분이 걸리는 동일한 과정이 에이전트와 함께하면 약 2분 30초가 걸립니다.
• 성공 여부는 고객이 인증을 완료하고 상환 견적을 받았는지라는 목표 달성 지표로 측정하며, 상담원 이관과는 별도로 추적합니다.
• 통화가 끝나면 피드백 에이전트가 고객에게 경험을 1점에서 5점으로 평가해 달라고 요청합니다. 상담원에게 이관되지 않은 통화는 거의 모두 4점과 5점을 받습니다.

중요한 이유: 시간 절감은 단순히 사람이 아닌 AI가 답하기 때문이 아니라, 화면 기반이 아닌 API 기반 workflow에서 비롯됩니다. Dan의 말처럼 이는 통화 시간을 줄이고 그 결과 더 나은 고객 경험을 제공하는 데 초점을 둡니다. 또한 현재의 상담원 이관은 에이전트가 도움을 주지 못해서가 아니라, 팀이 학습 과정에서 의도적으로 설정한 한계를 반영한 것입니다.

데모 2: Olivia(L’Olivier)

시나리오: 프랑스의 한 고객이 자신의 보험 증권에 관해 질문이 있습니다. 웹사이트 채팅을 열면 구식 트리 기반 도구인 Ollie Bot(“이것은 A, 저것은 B를 누르세요”)이 나타납니다. 고객의 질문은 A도 B도 아니어서 답을 얻지 못한 채 떠납니다.

L’Olivier는 바로 이 경험을 바꾸고자 했습니다. 팀은 현재 웹사이트에서 운영 중인 ElevenLabs 기반 지식 베이스 에이전트 Olivia를 구축했습니다.

시연 내용:

• 시스템 프롬프트, 첫 메시지, workflow, 하위 에이전트는 모두 영어에서 번역한 것이 아니라 프랑스어로 직접 작성됐습니다. Dan은 고객의 언어로 프롬프트를 작성하면 모델이 다르게 반응한다는 연구를 언급하며, 팀도 이 방식에서 훨씬 더 좋은 결과를 확인했다고 말합니다. 필요할 경우 Olivia는 영어를 자동으로 감지해 응답합니다.
• 실제 고객 대화를 지식 베이스와 비교 검토해 부족한 부분을 찾고, 경우에 따라 수정 사항은 보통 1~2시간 내에 라이브 에이전트에 반영됩니다.
• 변경 사항은 브랜치에서 점진적인 트래픽 분할 방식으로 배포됩니다. 1%, 2%, 5%, 10%, 25%, 50%, 그리고 100% 순으로 진행되며, 실제 트래픽에 적용하기 전 시뮬레이션 테스트와 수동 미리보기를 거칩니다. 데이터가 변경을 뒷받침하지 않으면 트래픽은 즉시 0%로 돌아가며, 롤백할 것도 없습니다.
• 브랜치 전체 주기는 시작부터 끝까지 몇 시간에서 하루 정도 걸립니다. 더 이상 2주 스프린트와 2주 배포가 필요하지 않습니다.

중요한 이유: 출시 주기가 몇 주에서 몇 시간으로 단축된 것만으로도 주목할 만하지만, 더 큰 인사이트는 언어가 단순한 현지화 요소가 아닐 수 있다는 점입니다. 언어는 모델의 추론 방식 자체를 바꿀 수 있습니다.

어떤 플레이북도 새로운 시장을 만나면 그대로 통하지 않습니다

대화 순서에 대한 관습, 끼어드는 것에 대한 허용도, 자연스러운 대화 리듬으로 여겨지는 기준은 시장마다 크게 다릅니다.

만능 해법은 없습니다. Dom에 따르면 효과적인 방식은 프롬프트와 아키텍처를 아는 엔지니어와 시장 맥락을 잘 아는 현지 법인의 비즈니스 책임자를 짝지어, 이 조합을 도입의 단위로 삼는 것입니다.

구축 자체는 시장마다 크게 다르지 않습니다. 도입은 다릅니다. Dom은 이것이 고객 운영뿐 아니라 모든 AI 도입에 해당한다고 봅니다.

고객이 신뢰하지 않거나 이해하지 못하면, 대화가 시작된 지 2초 만에 바로 “사람 상담원에게 연결해 주세요”라고 말할 것입니다.

그래서 팀은 기반 모델 자체보다 고객 교육(환영 메시지, 포지셔닝, IVR 메시지 등)에 더 많은 시간을 투자할 것으로 예상합니다.

시장 전반의 공정한 대우

보험에서 취약성 감지는 모든 시장, 언어, 채널에서 일관되게 작동해야 하는 기본 요건입니다.

Admiral은 여러 경로를 통해 이를 감지합니다. 특히 취약성의 경우, 팀은 하나만 신뢰하지 않고 검증된 머신러닝 모델과 생성형 AI를 함께 사용합니다. 따라서 어떤 신호가 먼저 감지되든 취약 고객을 어느 단계에서나 포착해 적절한 방식으로 지원할 수 있습니다.

이 기준은 기술이 사례를 처리하도록 맡기기 전부터 적용됩니다. 상환 견적 에이전트에서는 센트리 하위 에이전트가 모든 발신자를 선별하고, 취약 고객 또는 연체 고객은 상담원이 있는 우선 처리 대기열로 즉시 연결됩니다. 이는 팀이 더 많은 엣지 케이스를 학습하는 동안 설정한 의도적인 경계입니다.

고객의 행동은 예측할 수 없기 때문에(예를 들어, 누군가 Olivia에게 양파 수프 만드는 법을 물었습니다), 팀은 가드레일과 예상치 못한 행동의 사전 플래깅을 함께 적용합니다. 이를 통해 누가 어떤 방식으로 도구와 상호작용하는지 항상 파악할 수 있습니다.

에이전트를 만드는 팀

Admiral은 그룹 차원의 전문성이 ‘허브’에 있고, 시장과 고객, 직원을 잘 아는 현지 전문가들이 ‘스포크’에 배치되는 허브 앤 스포크 모델을 운영합니다.

센터 오브 엑설런스는 두 부분으로 나뉩니다. 첫째는 전략, 로드맵, 제품 디자인, A/B 테스트를 포함한 결과 테스트를 담당하는 가치 실현 부문입니다. 둘째는 구축된 모든 것이 기준을 충족하고 기존 시스템 전반과 통합되도록 하는 엔지니어, 아키텍트, 딜리버리 담당자로 구성된 기술 부문입니다.

Dom은 미래의 AI 엔지니어에게 코드 작성은 훨씬 덜 중요해지고, 생성형 AI의 작동 방식을 이해하며 아이디어를 적절히 구조화하고 에이전트 기반 코딩을 활용해 결과물을 제공하는 능력이 훨씬 중요해질 것이라고 봅니다.

핵심 팀 주변에는 프로세스 전문가와 비즈니스 책임자가 제품 및 기술 인재와 함께 소규모 포드로 구성됩니다. Dom의 표현을 빌리자면, 이들을 “한 방에 모아” 함께 구축하고 테스트한 다음 실제 고객에게 제공해 문제를 찾아내도록 합니다.

McKinsey에서는 기술에 1파운드를 투자할 때마다 프로세스 재설계에 3파운드, 변화 관리에 5파운드를 투자한다고 말하곤 했습니다.

Admiral의 로드맵 우선순위 설정 방식

여기에서도 허브 앤 스포크 모델이 역할을 합니다. 그룹은 위험과 가치가 더 높고 실현 가능성은 다소 낮아 중앙 지원이 병목을 해소할 수 있는 대규모 프로젝트에 대해 타협할 수 없는 우선순위를 설정합니다. 스포크는 역량이 있고 상위 지침을 준수하는 한 상향식 혁신을 추진할 여지를 갖습니다.

팀이 구축 중인 미래 로드맵은 고객이 IVR, 음성 에이전트, 상담원, 채널 사이를 오가더라도 같은 내용을 반복할 필요가 없도록 하는 데 초점을 둡니다. 의도, 감정, 취약성 신호는 단순한 대화 기록이 아니라 모든 이관 과정에서 함께 전달됩니다.

전체 세션 시청

Admiral은 보험 업계 최고의 고객 경험을 구축한다는 목표에 더 가까워지기 위해 검증 기준, 조직의 공감대, 기술 스택을 함께 재정비했습니다.

전체 웨비나 보기 여기.