웨비나 요약: 자연스러운 AI 에이전트 만들기

대부분의 팀은 자연스럽게 말하는 에이전트를 만들고 싶어 합니다.

하지만 많은 팀이 마주하는 한계는 작업은 완료하지만 맥락, 긴급성, 감정을 이해하지 못하는 에이전트입니다. 발신자가 이를 알아차리는 순간 신뢰도와 상호작용의 품질 모두 떨어집니다.

최근 진행한 라이브 워크숍: 자연스럽게 말하는 AI 에이전트 구축에서 Luigi Sambuy(Forward Deployed Engineering)가 로봇처럼 들리는 에이전트와 진정한 사람처럼 느껴지는 에이전트를 가르는 요소를 소개했습니다.

자연스럽게 들리는 것이 생각보다 어려운 이유

에이전트를 배포하는 대부분의 팀은 이미 정확성 문제를 해결했습니다. 에이전트는 올바른 답변을 제공하고, 정확한 테이블을 예약하며, 올바른 항공편을 취소합니다. 

더 어려운 것은 전달 방식을 제대로 구현하는 일입니다.

발신자의 감정을 반영하지 못하고, 긴급성을 파악하지 못하며, 모든 질문에 똑같이 단조로운 리듬으로 답하는 에이전트는 답변이 아무리 정확해도 인위적으로 느껴질 수밖에 없습니다. 고객은 문제 해결만 원하는 것이 아니라, 그 과정에서 자신의 이야기가 경청받고 있다고 느끼길 원합니다.

자연스럽게 들리는 에이전트의 4가지 특성

1. 리듬 및 흐름 - 단조롭게 읽는 대신 자연스러운 속도, 쉼, 말하기 속도의 변화
2. 미러링 - 불만을 느끼는 발신자에게는 공감으로, 좋은 소식에는 따뜻함으로 응답
3. 맥락 - 사용자 이력, 비즈니스 시스템, 문화적·지역적 단서를 활용해 답변이 획일적이지 않도록 구성
4. 정체성 - 기본 제공 음성이 아닌 브랜드를 위해 실제로 만들어진 음성

데모: 자연스럽게 들리는 에이전트의 실제 작동 방식

시나리오: 고객이 예약 시간을 변경하려고 Rosette Restaurant에 전화합니다. 결혼 5주년이지만 늦고 있는 상황입니다.

데모에서 확인할 수 있는 점:

• 에이전트는 다른 일을 하기 전에 기념일을 언급하며 따뜻하게 대화를 시작했습니다
• 고객이 말한 예약 시간과 실제 예약 시간이 약간 다른 점을 포착하고, 추측하지 않고 확인했습니다
• 요청받지 않았는데도 예약을 오후 9시로 변경하고, 기념일을 위해 창가 좌석을 선제적으로 제안했습니다
• 통화 내내 에이전트는 자연스러운 쉼과 추임새를 사용하고, 상황에 맞춰 안심시키고 따뜻하며 서두르지 않는 어조로 조절했습니다

중요한 이유: 이 모든 것은 다른 모델이나 더 강력한 플랫폼에서 나온 것이 아닙니다. 프롬프트에서 비롯됐습니다. 시스템 프롬프트는 에이전트가 문장 중간에 스스로 수정하고, "무언가를 찾아보는" 동안 자연스럽게 말을 흐리며, 발신자에 맞춰 감정적 어조를 바꾸도록 허용했습니다. 이는 오늘날 플랫폼에서 구축하는 모든 팀이 활용할 수 있는 동일한 기법입니다.

자연스러운 에이전트를 구축하는 7가지 요소

1. 감정 태그 - v3 대화형 모델의 표현 모드 및 Eleven v4에서 사용 가능하며, 어조 변화에 가장 큰 영향을 주는 요소
2. 배경 소음 - 더 친숙하고 인간적인 맥락을 위한 사무실 분위기음, 도시 소리 또는 타이핑 소리
3. 시스템 프롬프트의 어조 - 실제로 대부분의 차이가 만들어지는 부분
4. 응답 적극성 설정 (eager / normal / patient) - 상호작용에 필요한 시간에 맞춰 설정
5. 발음 사전 / 키워드 - 에이전트가 잘못 발음할 수 있는 이름, 브랜드, 외국어 단어에 활용합니다. 
6. 출력 설정 - 일부 팀은 깨끗한 오디오 대신 의도적으로 배경에 전화벨 소리를 추가합니다. 기존 컨택 센터에서 전환한 고객은 약간 먹먹한 음색에 익숙하기 때문입니다
7. 보이스 디자인 또는 음성 복제 - 기본 제공 음성을 고르는 대신 완전히 맞춤화된 브랜드 음성을 구축합니다. 보이스 디자인을 사용하면 구체적인 음성을 프롬프트로 지정할 수 있습니다(예: "헤드셋을 통해 말하는 듯한 30대 남성"). 음성 복제는 즉시 복제(약 30초 분량의 오디오)부터 프로페셔널 복제(더 많은 자료, 더 높은 충실도)까지 제공합니다. 

자연스럽게 들리는 에이전트를 위한 모범 사례

어조를 시스템 프롬프트에 직접 작성하세요. 단조로운 에이전트와 자연스러운 에이전트의 가장 큰 차이는 실제로 여기에서 만들어집니다. 에이전트가 문장 중간에 스스로 수정하고("사람들이 실제로 말하는 방식"), 무언가를 찾는 동안 자연스럽게 말을 흐리며, 심각한 이야기가 나온 뒤에는 잠시 침묵한 후 답하도록 명시적으로 허용하세요.

감정 태그를 상황에 맞추세요. 심각하거나 위험한 상황에는 "excited" 태그가 적절하지 않습니다. 태그가 실제로 대화에서 나타날 지점에 신중히 배치하고, 통화가 진행됨에 따라 발신자의 감정 상태에 맞춰 조정하세요(예: 불안한 발신자에게는 차분하고 안심시키는 어조, 급한 사람에게는 빠르지만 따뜻한 어조).

응답 적극성을 의도적으로 설정하세요.eager는 빠르고 정보량이 많은 대화에 적합하며, patient는 문서나 번호를 찾는 데 시간이 필요한 경우에 적합합니다. 모든 상황에서 기본값을 eager로 설정하면 에이전트가 자연스럽기보다 성급하게 느껴질 수 있습니다.

노드별로 LLM을 선택하세요. 단순한 라우팅 단계에는 더 가볍고 빠른 모델을, 실제 의사결정을 수행하는 노드에는 더 성능이 뛰어난 모델을 사용하세요. 

체감 지연 시간도 "자연스러움"의 일부로 다루세요. 모델 선택 외에도, 추측적 턴 생성(발신자가 아직 말하는 동안 모델이 응답을 만들기 시작하도록 하는 방식)과 소프트 타임아웃 추임새는 실제 응답 시간이 달라지지 않아도 쉼이 길게 느껴지는 정도를 줄여 줍니다.

번역하지 말고 현지화하세요. 대상 언어로 실제 학습된 음성을 선택하고, 발음 사전을 사용하세요. 단일 언어 사용 사례라면 성능 향상을 위해 프롬프트 자체를 해당 언어로 작성하는 것도 고려해 보세요. 언어 간 빠른 지연 시간이 표현력보다 중요할 때는 Multilingual v2도 여전히 훌륭한 선택입니다.

에이전트를 모니터링하세요.실제 통화 없이 에이전트를 검증하는 시뮬레이션 테스트, 통화 후 합격/불합격 평가를 위한 평가 기준, 그리고 에이전트가 대화의 정확히 어느 지점에서 잘못된 어조를 사용했는지 파악하는 턴별 감정 분석을 활용하세요. 그런 다음 이 신호를 사용해 프롬프트를 조정하세요.

전체 세션 보기

전체 웨비나은 여기에서 시청하세요.