엔터프라이즈 규모의 프로덕션 준비 완료 대화형 AI: Scale AI의 Felix Su와 함께

성공적인 엔터프라이즈 AI는 최신 기술만으로 이루어지지 않습니다. AI의 기본 요소 위에 올바른 아키텍처와 통제가 구축되어야 합니다. 시중의 LLM(대형 언어 모델)은 강력하지만, 비즈니스 로직, 브랜드 가이드라인, 안전 원칙을 따르는 데 필요한 깊은 지식이 부족합니다. 이런 맞춤형 경험은 프롬프트, LLM, 가드레일, 도구 등 다양한 요소를 신중하게 설계하고 테스트해, 생성형 AI의 행동이 엔터프라이즈 규칙을 따르도록 해야만 가능합니다.

분리의 힘: 아키텍처가 중요한 이유

대화형 음성 AI를 구축할 때, 대화형 음성 AI를 구축할 때 개발자는 멀티모달 음성-음성 모델을 사용할 수도 있고, 또는 ASR (음성 인식), LLM, TTS(텍스트 음성 변환) 등 구성 요소를 조합할 수도 있습니다. 특정 용도가 있는 엔터프라이즈에는 후자가 더 실용적인 경우가 많습니다.

"엔터프라이즈 환경에서는 AI를 LLM만으로 구현할 수 없는 경우가 많습니다." Scale의 GenAI 플랫폼 엔지니어링 총괄 Felix Su는 이렇게 설명합니다. "복잡한 시스템은 비즈니스 로직을 따르고, 브랜드 이미지를 유지하며, 엄격한 가드레일 내에서 작동하도록 설계되어야 합니다. 이런 행동은 각 엔터프라이즈마다 다르기 때문에, LLM의 잠재적 행동에만 의존하기보다는 그 위에 시스템을 구현하는 것이 더 실용적입니다. 최근에는 멀티모달 기능이 모델에 직접 탑재되고 있지만, 실제 중요한 프로덕션 환경에 이 모델들을 적용하는 속도는 기대보다 느립니다. 이는 생성 과정과 입력·출력 간의 통제 부족 때문입니다. TIME AI의 경우, STT(음성 텍스트 변환)와 TTS를 활용해 텍스트 기반 LLM에 입력을 통제하고, 맞춤형 가드레일로 시스템의 출력을 보호할 수 있었습니다. 이 방식이 멀티모달 LLM을 직접 사용하는 것보다 더 실용적일 때가 많습니다."

TIME AI 경험을 구축할 때, Scale은 TIME의 기사 데이터베이스를 지식 베이스로 색인화해 필요할 때마다 정보를 불러올 수 있도록 했고, 비즈니스 로직을 일련의 시스템 프롬프트에 담아, GenAI의 출력이 환각이나 안전·브랜드 가이드라인 위반을 방지하도록 했습니다. 이 시스템 위에 ElevenLabs 대화형 AI 오케스트레이션 플랫폼의 음성을 더해 생생한 경험을 완성했습니다.

TIME 올해의 인물 경험: 목소리가 만드는 차이

최근 출시된 TIME AI는 독자들이 TIME의 저널리즘, 특히 상징적인 '올해의 인물' 보도에 대해 자연스럽게 대화할 수 있도록 합니다. 이 구현이 수많은 챗봇과 차별화되는 점은 지식뿐만 아니라 바로 '목소리'입니다.

"목소리를 사용하니 정말 생동감이 더해졌어요." Su는 이렇게 말합니다. "목소리가 없었다면 그냥 또 하나의 챗봇으로 묻혔을 거예요. 우리는 에이전트가 실제로 함께 읽어주는 파트너처럼 느껴지길 바랐고, 자유로운 대화도 가능하길 원했습니다." 이 구현은 Scale AI의 AI 개발 전문성과 ElevenLabs의 대화형 AI 플랫폼이 결합되어, 콘텐츠와 브랜드 보이스를 엄격하게 통제하면서도 놀라울 만큼 인간적인 경험을 제공합니다.

엔터프라이즈 환경에 맞는 시스템 구축

대규모로 대화형 AI를 도입하려는 엔터프라이즈라면, Scale AI와 ElevenLabs와의 협업이 검증된 방법입니다. Scale AI는 강력한 가드레일을 갖춘 통제된 멀티모달 AI 시스템 구축에 깊은 전문성을 보유하고 있으며, ElevenLabs는 이 시스템에 자연스럽게 통합할 수 있는 최고의 음성 기술을 제공합니다.

TIME의 구현은 저널리즘에 초점을 맞추고 있지만, 동일한 아키텍처는 고객 서비스와 지원 등 다양한 엔터프라이즈 분야에 적용할 수 있습니다. 고객들은 점점 더 단순한 챗봇에 지루함을 느끼고, 더 몰입감 있고 인간적인 상호작용을 원하고 있습니다.

이 글에 기여해주신 Felix께 감사드립니다. Felix Su는 LinkedIn & X에서 찾으실 수 있으며, 그가 TIME과 함께 만든 대화형 AI 음성 경험은 TIME의 2024 올해의 인물과 2021, 2022 및 2023.

개발자는 문서를 참고해 대화형 AI를 시작할 수 있으며, 신뢰할 수 있는 대화형 음성 에이전트 솔루션을 프로덕션에 도입하려는 기업은 엔터프라이즈 솔루션팀에 문의하실 수 있습니다: ElevenLabs 및 스케일.