엔터프라이즈 규모의 프로덕션 준비 완료 대화형 AI: Scale AI의 Felix Su와 함께

성공적인 엔터프라이즈 AI는 최신 기술을 갖추는 것만으로는 충분하지 않습니다. AI 기본 요소 위에 올바른 아키텍처와 제어 체계를 구축하는 것이 중요합니다. 즉시 사용할 수 있는 LLM은 강력하지만 비즈니스 로직, 브랜드 가이드라인, 안전 원칙을 따르는 방법에 관한 깊이 있는 지식은 부족합니다. 이러한 맞춤형 경험은 생성형 AI의 행동이 엔터프라이즈 규칙을 따르도록 프롬프트, LLM, 가드레일, 도구 및 기타 구성 요소로 이루어진 시스템을 신중하게 설계하고 테스트해야만 구현할 수 있습니다.

분리의 힘: 아키텍처가 중요한 이유

대화형 음성 AI를 구축할 때 개발자는 멀티모달 음성-대-음성 모델을 사용하거나 ASR(음성 인식), LLM, TTS의 구성 요소를 조합할 수 있습니다. 구체적인 사용 사례가 있는 엔터프라이즈에는 후자가 더 실용적인 경우가 많습니다.

“엔터프라이즈 환경에서 AI는 LLM만으로 구현하기 어려운 경우가 많습니다.” Scale GenAI 플랫폼의 엔지니어링 총괄 Felix Su는 이렇게 설명합니다. “복잡한 시스템은 비즈니스 로직을 따르고, 브랜드 이미지를 유지하며, 엄격한 가드레일 안에서 작동하도록 설계해야 합니다. 이러한 동작은 엔터프라이즈마다 맞춤형이므로, LLM의 잠재적 동작에만 의존하기보다 그 위에 이런 시스템을 구현하는 편이 더 실용적입니다. 최근 멀티모달 기능이 모델 자체에 직접 탑재되고 있지만, 중요한 프로덕션 사용 사례에서 이러한 모델의 도입은 예상보다 더디게 진행되고 있습니다. 생성 과정과 해당 모달리티의 입력 및 출력 사이에 제어가 부족하기 때문입니다. TIME AI의 경우 STT와 TTS를 사용해 텍스트 기반 LLM의 입력을 제어하고, 맞춤형 가드레일로 시스템 출력을 보호할 수 있었습니다. 이 기법은 멀티모달 LLM을 직접 사용하는 것보다 더 실용적인 경우가 많습니다.”

TIME AI 경험을 구축하면서 Scale은 TIME의 기사 코퍼스를 필요에 따라 검색할 수 있는 지식 베이스로 인덱싱하고, 일련의 시스템 프롬프트에 비즈니스 로직을 인코딩했으며, 환각과 안전 및 브랜드 가이드라인 위반으로부터 GenAI 출력을 보호했습니다. 이 시스템에 ElevenLabs 대화형 AI 오케스트레이션 플랫폼의 음성을 더해 경험에 생동감을 불어넣었습니다. 

TIME 올해의 인물 경험: 음성이 만드는 차이

최근 출시된 TIME AI를 통해 독자는 상징적인 올해의 인물 보도를 비롯한 TIME의 저널리즘에 관해 자연스럽게 대화할 수 있습니다. 이 구현이 수많은 다른 챗봇과 차별화되는 요소는 지식만이 아닙니다. 바로 음성입니다.

Su는 “음성을 사용하니 정말 강렬한 느낌이 더해졌습니다. 음성이 없으면 그저 또 하나의 챗봇으로 묻혀 버립니다. 에이전트가 정해진 각본을 벗어나 대화를 깊이 있게 나눌 수 있는, 실시간 독서 파트너처럼 느껴지기를 바랐습니다.”라고 말합니다. 이 구현은 AI 개발 분야의 Scale AI 전문성과 ElevenLabs의 대화형 AI 플랫폼을 결합해, 콘텐츠와 브랜드 음성을 엄격하게 제어하면서도 놀랍도록 인간적인 경험을 제공합니다.

엔터프라이즈 환경에 적합한 시스템 구축

대화형 AI를 대규모로 배포하려는 엔터프라이즈에 Scale AI 및 ElevenLabs와의 협업은 검증된 경로를 제시합니다. Scale AI는 견고한 가드레일을 갖춘 제어 가능하고 안전한 멀티모달 AI 시스템 구축에 깊이 있는 전문성을 제공하며, ElevenLabs는 이러한 시스템에 원활하게 통합할 수 있는 동급 최고 수준의 음성 기술을 제공합니다.

TIME의 구현은 저널리즘에 초점을 맞추고 있지만, 동일한 아키텍처는 다양한 엔터프라이즈 사용 사례, 특히 고객 서비스 및 지원에 적용할 수 있습니다. 고객들은 더 몰입감 있고 인간적인 상호작용을 원하면서 기본적인 챗봇에 점점 지쳐가고 있습니다. 

이 글에 기여해 주신 Felix에게 감사드립니다. Felix Su는 LinkedIn 및 X에서 만나볼 수 있으며, TIME과 함께 구축한 대화형 AI 음성 경험은 TIME의 2024 올해의 인물뿐만 아니라 2021년, 2022년 및 2023년 올해의 인물에서도 체험할 수 있습니다.

개발자는 문서를 통해 대화형 AI를 시작할 수 있으며, 신뢰할 수 있는 대화형 음성 에이전트 솔루션을 프로덕션에 배포하려는 기업은 ElevenLabs 및 Scale의 엔터프라이즈 솔루션 팀에 문의할 수 있습니다.