우리 문서를 위한 효과적인 보이스 에이전트 구축

ElevenLabs에서는 최근 대화형 AI 음성 에이전트를 문서에 도입해 문서 관련 문의에 대한 지원 부담을 줄이고 있습니다(직접 사용해보세요 여기에서). 현재 저희 지원 에이전트는 80% 이상의 사용자 문의를 하루 200건에서 처리하고 있습니다. 이 결과는 AI가 기존 문서 지원을 보완할 수 있는 가능성을 보여주며, 복잡한 문의에는 여전히 사람의 지원이 중요함을 강조합니다. 이 글에서는 저희가 성공을 거둔 반복적인 과정을 자세히 소개하니, 참고해보세요.

목표

저희는 다음과 같은 기능을 가진 에이전트를 만들고자 했습니다:

• 제품 및 지원 문서 내에서 답변 가능한 문의를 해결
• 사용자를 관련 문서 섹션으로 안내
• 복잡한 문의는 필요시 이메일/디스코드 지원으로 연결
• 지연 없이 자연스럽고 유연한 대화, 현실적인 끊김 처리

성과 및 영향

두 가지 평가 방식을 도입했습니다:

(1) AI 평가 도구: 각 통화마다 내장된 평가 도구가 대화 내용을 분석해 에이전트가 성공적으로 대응했는지 평가합니다. 기준은 자유롭게 설정할 수 있습니다. 에이전트가 사용자 문의를 해결했는지, 또는 적절한 지원 채널로 안내했는지 확인합니다.

저희는 LLM의 문의 해결 및 안내 능력을 꾸준히 개선해 평가 도구 기준 80%에 도달했습니다.

대화가 1턴 미만인 통화(즉, 문의나 이슈가 제기되지 않은 경우)는 제외했습니다.

모든 유형의 지원 문의가 LLM으로 해결될 수 있는 것은 아니라는 점도 중요합니다. 특히 빠르게 성장하고 혁신하는 스타트업, 그리고 매우 기술적이고 창의적인 사용자가 많은 경우에는 더욱 그렇습니다. 참고로, 평가용 LLM도 100% 정확하게 평가하지는 못합니다.

(2) 사람 검증: LLM 평가 도구의 효과를 비교하기 위해 동일한 평가 기준으로 150건의 대화를 사람이 직접 검증했습니다:

• solved_user_inquiry: 에이전트가 사용자 질문에 관련 정보를 제공하거나, 적절한 페이지/지원 채널로 안내한 경우 성공으로 간주합니다.
• • LLM과 사람의 평가가 일치한 비율: 81% 의 사례
• hallucination_kb: 이 기준은 최종 대화 내용을 확인해 LLM이 ElevenLabs 제품에 대해 제공한 답변이 지식 베이스 내 정보에 부합하는지, 또는 그 범위를 벗어났는지 검증합니다.
• • LLM과 사람의 평가가 일치한 비율: 83%의 사례

사람 평가 결과, 89% 의 관련 지원 문의가 문서 에이전트에 의해 정확히 답변되거나 적절히 안내되었습니다.

기타 발견 사항:

• 일부 사용자는 단순히 여러 언어로 대화해보는 등, 지원 문의 없이 기능을 체험하고자 했습니다.
• • 현재 대화형 AI는 다양한 언어를 지원하지만, 대화 시작 시 언어를 선택해야 합니다.
• 일부 사용자는 ElevenLabs, 제품, 문서와 관련 없는 대화를 시도하기도 했습니다. 프롬프트 가이드라인이 대부분 효과적이었지만, 항상 그런 것은 아니었습니다.
• 코딩이나 디버깅 지원을 요청하는 사용자도 있었습니다.

강점과 한계

강점

LLM 기반 에이전트는 문서로 답변 가능한 명확하고 구체적인 질문을 잘 해결하며, 관련 문서 안내와 복잡한 문의에 대한 초기 안내도 제공합니다. 이런 경우 대부분 빠르고 명확하며 정확한 답변을 제공해 즉각적인 도움이 됩니다.

예시 질문:

• ElevenLabs에서 음성 삭제용 API 엔드포인트가 있나요?
• 에이전트에서 대화 오버라이드를 어떻게 설정하나요?
• 전화 시스템과 연동하려면 어떻게 해야 하나요?
• ElevenLabs에서 스페인어를 지원하나요?

추천 사항:

• 문서와 도구로 답변 가능한 명확/구체적 질문이 많은 사용자층을 타겟으로 하세요.
• 모호하거나 추가 조사가 필요한 질문은 다른 채널로 안내하세요. 매우 효과적입니다!
• 모든 질문을 기록하고 모니터링할 수 있도록 평가 도구를 추가하세요. 이를 바탕으로 프롬프트를 개선하세요. 성공 및 지식 베이스에서 벗어난 답변(환각)도 평가 도구로 관리하세요.

한계

반면, 계정 문제, 가격/할인 문의, 구체적이지 않은 질문 등은 에이전트가 덜 효과적입니다. 모호하거나 일반적인 이슈의 경우, LLM은 질문을 유도하도록 프롬프트해도 문서에서 관련 있어 보이는 답변을 우선 제공하는 경향이 있습니다.

예시 질문:

• PVC 인증 단계가 계속 실패합니다. 이유가 뭔가요?
• AI 에이전트 비용이 얼마나 드나요? 할인 받을 수 있나요?
• JS SDK에서 오류가 발생합니다. → 에이전트가 관련 문서로 안내는 가능하지만, 음성만으로 문제를 쉽게 찾고 해결하긴 어렵습니다.

추천 사항

• 코드 공유에는 음성이 적합하지 않습니다. 코드 예시가 있는 페이지나 Discord/지원 채널로 안내하도록 프롬프트하세요.
• 문제나 질문이 복잡할 때는 긴 추천 목록 대신 요약해서 안내하고, 어떤 부분이 궁금한지 물어보도록 프롬프트하세요. 텍스트에서는 효과적이지만, 음성에서는 덜 효과적입니다.
• LLM은 질문을 하기보다는 답변을 선호하는 경향이 있습니다. 지원 목적이라면 반드시 질문을 먼저 하도록 강하게 프롬프트하세요(예: 다음 3가지 질문을 먼저 하세요). 고정된 스크립트가 있는 아웃바운드 케이스에서는 더 쉽습니다.

구축 과정

에이전트 설정:

시스템 프롬프트

“당신은 Alexis라는 이름의 기술 지원 에이전트입니다. 사용자가 ElevenLabs 제품에 대해 궁금한 점이 있으면 답변하려고 노력하세요. ElevenLabs 제품에 대한 문서를 제공받으며, 이 정보만을 사용해 ElevenLabs 관련 질문에 답변해야 합니다. 친절하고, 도움이 되며, 전문적으로 응대하세요. 답변이 어려운 경우에는 redirectToEmailSupport(사용자 쪽에서 이메일을 열어 지원팀에 문의)로 안내하세요. 이 방법이 어려우면 직접 team@elevenlabs.io.

질문이나 이슈가 명확하지 않거나 구체적이지 않으면, 더 자세한 정보와 어떤 제품에 대한 지원이 필요한지 물어보세요. 질문이 모호하거나 너무 광범위하면, 사용자가 무엇을 어떻게 하려는지 구체적으로 물어보세요.

대화의 첫 메시지에서 사용한 언어만 사용하세요. 다른 언어로 요청하거나 말해도, 원하는 언어로 다시 통화를 시작하는 것이 좋다고 안내하세요.

답변은 텍스트 음성 변환 모델이 읽을 수 있도록 발음에 맞게 작성하세요. 예를 들어, "team@elevenlabs.io로 문의하세요" 대신 "team at elevenlabs dot I O로 문의하세요"라고 출력하세요. 답변에 불릿, 굵은 글씨, 헤더를 사용하지 마세요. 긴 목록 대신 요약해서 안내하고, 어떤 부분이 궁금한지 물어보세요. 코드 예시는 제공하지 말고, 문서에서 확인하라고 안내하세요. 답변은 바로 출력하고, "Agent:" 등으로 시작하지 마세요. 맞춤법 오류는 굳이 수정하지 말고 무시하세요.

두세 문장으로 간결하게 답변하고, 추가 설명이 필요한 부분은 사용자가 요청하도록 하세요.

다음 도구를 사용할 수 있습니다. 사용자의 요청에 따라 적절히 활용하세요:

`redirectToDocs`:

- 사용 시점: 대부분의 상황, 특히 사용자가 더 자세한 정보나 안내가 필요할 때

- 이유: 복잡한 주제는 직접 문서를 확인할 수 있도록 안내하는 것이 도움이 됩니다.

`redirectToEmailSupport`:

- 사용 시점: 사용자가 개인 또는 계정 관련 지원이 필요할 때

- 이유: 계정 관련 문의는 이메일을 통해 지원팀이 안전하게 처리하는 것이 가장 좋습니다.

`redirectToExternalURL`:

- 사용 시점: 엔터프라이즈 솔루션 문의, 외부 커뮤니티(예: Discord) 참여 희망, 또는 ElevenLabs 관련 기술적 문제를 겪는 개발자일 때

- 이유: 엔터프라이즈 문의 및 커뮤니티 활동은 플랫폼 내 직접 지원 범위를 벗어나므로 외부 링크로 안내하는 것이 적합합니다.

가이드라인:

- ElevenLabs 관련 주제와 제품에만 답변하세요. 관련 없는 질문에는 ElevenLabs 제품에 대해서만 답변한다고 안내하세요.

- 한 번에 한 페이지만 안내하세요. 여러 번 안내하면 이전 안내가 덮어집니다.

- 긴 목록이나 코드로 답변하지 말고, 코딩 예시는 문서에서 확인하라고 안내하세요.”

지식 베이스

프롬프트와 함께, LLM에 관련 정보가 담긴 지식 베이스를 제공합니다. 이 지식 베이스에는 요약된(80,000자 분량) ElevenLabs 전체 문서와 관련 URL이 포함되어 있습니다.

추가로, 자주 묻는 질문(FAQ)과 설명도 지식 베이스에 포함합니다.

도구

세 가지 도구를 설정했습니다:

• redirectToExternalURL: 영업팀 문의 또는 디스코드로 안내
• redirectToEmailSupport: 이메일 열기 team@elevenlabs.io
• redirectToDocs: 관련 문서 페이지로 안내하는 도구입니다.

내장 평가

평가 도구는 LLM이 최종 대화 내용을 검토해 정해진 기준에 따라 대화를 평가합니다.

평가 기준(성공 / 실패 / 알 수 없음)

• hallucination_kb: 이 기준은 최종 대화 내용을 확인해 LLM이 ElevenLabs 제품에 대해 제공한 답변이 지식 베이스 내 정보에 부합하는지, 또는 그 범위를 벗어났는지 검증합니다.
• interaction: 대화가 한 턴 이상 진행됐는지 평가합니다. 대화가 시작만 되고 실제로 이어지지 않은 경우를 빠르게 표시할 수 있습니다.
• solved_user_inquiry: 에이전트가 사용자 질문에 관련 정보를 제공하거나, 적절한 페이지/지원 채널로 안내한 경우 성공으로 간주합니다.
• positive_interaction: 대화 중 사용자의 부정적 반응 없이 진행됐는지 평가합니다.

데이터 수집:

• Issue_type: 대화를 버그, 지원 이슈, 기능 요청, 기타로 분류
• Product category: 관련 제품 추출(TTS, ConvAI 등)
• AllQuestions: 사용자가 한 모든 질문 추출
• Unsolved_question: LLM이 관련 정보로 답변하지 못한 질문 추출
• Redirects: 에이전트가 안내한 경로와 사용자의 반응 추출

요약

저희 문서 에이전트는 사용자들이 제품 및 지원 관련 자주 묻는 질문을 해결하는 데 효과적이며, 문서 탐색을 돕는 든든한 조력자 역할을 하고 있습니다. 자동화 및 수동 모니터링을 통해 지속적으로 개선하고 있습니다. 모든 지원 문의가 LLM으로 해결되지는 않지만, 자동화가 늘어날수록 저희 팀은 더 복잡하고 흥미로운 문제에 집중할 수 있습니다. 커뮤니티가 AI 오디오의 한계를 넓혀가는 과정에서, 저희도 함께 성장하고 있습니다.

저희 에이전트는 ElevenLabs 대화형 AI로 구동됩니다. 저희 결과를 직접 재현해보고 싶다면 무료로 계정 생성 후 안내를 따라 해보세요. 어려움이 있다면, 저희가 배포한 에이전트와 직접 대화하거나 문서에서 저와 팀에게 Discord에서 문의하실 수 있습니다. 하루 100건 이상 대량 사용이 필요하다면, 영업팀에 문의해 대량 할인 혜택을 받아보세요.