AI 오케스트레이션이란? 대규모 AI 모델 조율

복잡한 프로세스에서는 AI 도구가 작업을 처음부터 끝까지 처리하지 못하는 경우가 많습니다. 한 모델은 음성 인식에 뛰어날 수 있고, 다른 모델은 결제 처리를 담당할 수 있습니다. 따라서 단계를 순서대로 실행하고, 시스템 간에 컨텍스트를 전달하며, 다음 작업을 결정할 중간 계층이 필요합니다. 

AI 오케스트레이션은 바로 그 계층으로, 여러 모델, 에이전트, 도구가 하나의 시스템처럼 작동하도록 조율합니다. 하나의 AI 에이전트를 여러 작업에 맞게 최적화하는 대신, 각자 고유한 기능에 특화된 여러 에이전트의 장점을 활용할 수 있습니다. 이는 효율성을 높일 뿐 아니라 문제가 발생했을 때 시스템을 업그레이드하고 해결하기도 쉽게 만듭니다.

이 글에서는 AI 오케스트레이션의 의미와 작동 방식, 이미 활용 중인 분야를 살펴보고, 자체 워크플로에 적용하는 방법을 알아봅니다.

요약

• AI 오케스트레이션은 모델, 에이전트, 도구를 하나의 관리되는 워크플로로 조율하여 단계를 순서대로 실행하고, 컨텍스트를 공유하며, 작업에 사람의 검토가 필요한 시점을 결정합니다.
• 신원 확인, 데이터 조회, 정책 결정처럼 여러 단계를 거치는 작업에는 단계 간 인계를 관리할 주체가 필요하므로 AI 오케스트레이션이 필요합니다.
• 강력한 오케스트레이션 플랫폼은 여러 LLM을 지원하고 전체 워크플로에 걸쳐 컨텍스트를 유지하며, 각 단계에 필요한 확실성에 따라 규칙 기반 라우팅과 모델 기반 라우팅을 결합합니다.
• 금융 서비스, 헬스케어, 리테일 등 다양한 업계는 오케스트레이션을 활용해 기존 시스템(CRM, EHR, 결제 도구)을 하나의 연속적인 고객 상호작용으로 연결합니다.

AI 오케스트레이션이란 무엇이며, 왜 중요할까요?

AI 오케스트레이션은 언어 모델, 전문 에이전트, 검색 시스템, 타사 도구 등 여러 AI 구성 요소를 조율하여 하나의 관리되는 워크플로로 작동하게 합니다.

하나의 질문에 답하는 모델은 독립적으로도 잘 작동할 수 있습니다. 하지만 여러 시스템에 걸친 여러 단계의 프로세스에는 오케스트레이션이 필요합니다. 예를 들어 AI 고객 서비스 에이전트가 고객의 지원 티켓 등록을 돕는다면 다음 작업이 필요합니다.

• 신원 확인: 고객이 누구인지 확인하고 계정 정보를 조회합니다.
• 지식 베이스 확인: RAG를 통해 해당 문제가 알려진 문제와 일치하는지 확인합니다.
• 정책 적용: 해당 문제가 환불이나 교체 대상인지 판단합니다.
• 기록 및 확인: CRM에 티켓을 기록하고 고객에게 다음 단계를 안내합니다.

이러한 각 작업에는 서로 다른 모델, 에이전트 또는 도구가 연속적으로 필요할 수 있으며, 이들이 동기화되어 함께 작동하도록 관리해야 합니다. 

기업이 더 많은 AI 에이전트를 도입하고 이들이 함께 작동하기를 기대하면서, AI 오케스트레이션에 대한 투자는 더욱 중요해지고 있습니다. Gartner는 기업 문의의 급격한 증가를 멀티 에이전트 시스템과 관련해 지난 2년간 추적했으며, 기업 애플리케이션의 40%가 업무별 AI 에이전트를 탑재할 것으로 전망했습니다. 이는 2025년의 5% 미만에서 증가한 수치입니다. 

하지만 도입 자체가 유일한 과제는 아닙니다. MIT의 NANDA 이니셔티브는 기업 생성형 AI 파일럿의 95%가 모델 자체는 잘 작동함에도 측정 가능한 수익을 내지 못한다는 사실을 발견했습니다. 이를 둘러싼 시스템에는 대규모로 안정적으로 운영하는 데 필요한 아키텍처, 거버넌스, 통합 수준이 부족합니다. 

오케스트레이션은 성공한 5%가 활용하는 핵심 요소입니다. 

AI 오케스트레이션으로 복잡한 워크플로를 자동화하는 방식

서로 다른 에이전트에 의존하는 다단계 프로세스를 처리할 때, 오케스트레이션은 분산된 시스템을 연결하고 일관되면서도 복잡한 응답을 만드는 데 도움이 됩니다.

AI 오케스트레이션은 4가지 주요 계층으로 이루어집니다.

1. 작업 분해 및 라우팅: 요청을 여러 단계로 나누고 각 단계를 적합한 모델, 에이전트 또는 도구로 보냅니다.
2. 컨텍스트 및 상태 관리: 대화 기록, 검색된 문서, 변수를 다음 단계로 전달해 이후 단계에서 필요한 정보를 활용할 수 있게 합니다.
3. 도구 및 API 실행: CRM이나 결제 처리기 같은 외부 시스템을 호출하고, 결과를 워크플로에 다시 반영합니다.
4. 전환 로직: 고정된 규칙이나 모델의 판단에 따라 다음 단계로 이동할 시점을 결정합니다.

AI 오케스트레이션 플랫폼은 전환 로직에서 차이를 보이는 경향이 있습니다. 결정론적 전환은 보장된 결과를 제공합니다. 예를 들어 결제에 실패하면 워크플로는 항상 동일한 대체 단계로 라우팅됩니다. 반면 모델 평가 기반 전환은 자유 형식 입력을 더 잘 처리하지만, 신호를 잘못 해석해 사용자를 잘못된 경로로 안내하지 않도록 가드레일이 필요합니다. 

대부분의 프로덕션 시스템은 두 방식을 모두 사용합니다. 정확성이 중요한 곳에서는 고정 규칙을, 입력을 미리 명확히 규정할 수 없는 곳에서는 모델 판단을 활용합니다. ElevenAgents 워크플로도 이 방식으로 작동합니다. 하위 에이전트 간의 각 전환은 결정론적으로 설정하거나 모델의 평가에 맡길 수 있습니다.

ElevenAgents의 오케스트레이션 엔진에서는 독립 에이전트가 시스템 프롬프트, 지식 베이스, 도구 세트를 활용해 단일 목적의 상호작용을 처리합니다. 워크플로에는 검증, 청구, 에스컬레이션 등의 정해진 작업을 수행하는 전문 하위 에이전트로 구성된 방향 그래프가 추가됩니다. 

각 하위 에이전트에는 제한된 범위의 컨텍스트만 제공되므로 정보가 관련 없는 역할로 유출되지 않습니다. 또한 각 단계에 필요한 확실성 수준에 따라 에이전트 간 전환을 규칙 기반 또는 모델 평가 기반으로 설정할 수 있습니다.

AI 오케스트레이션 통합의 주요 이점

오케스트레이션의 가치는 개별 상호작용보다 시간이 지남에 따라 팀이 수행할 수 있는 일에서 더 크게 나타납니다. 오케스트레이션을 도입하면 운영, 엔지니어링, 지원 팀은 다음과 같은 이점을 얻습니다.

• 확장성: 새로운 사용 사례를 매번 새로운 단일 목적 솔루션으로 구축하는 대신 기존 워크플로에 연결할 수 있습니다.
• 일관성: 어떤 모델이나 에이전트가 처리하더라도 동일한 작업은 같은 방식으로 실행됩니다.
• 거버넌스: 모든 인계, 도구 호출, 의사 결정이 기록되어 감사할 수 있습니다.
• 더 빠른 가치 실현: 팀은 통합을 처음부터 다시 구축하는 대신 기존 에이전트와 도구를 조합해 새로운 워크플로를 만들 수 있습니다.
• 도구 난립 감소: 하나의 조율된 시스템이 분리된 AI 도구들의 조합과 그 사이의 수동 인계를 대체합니다.

각 도구를 전문화된 상태로 유지함으로써 오케스트레이션은 전체 시스템의 취약성을 낮춥니다. 이를 통해 새로운 사용 사례로 확장하고 고객이 실질적으로 만족할 경험을 제공할 수 있습니다. 

산업 전반의 AI 오케스트레이션 활용 사례

AI 오케스트레이션은 모든 산업에서 같은 방식으로 작동합니다. 신원 확인, 데이터 조회, 정책 규칙을 하나의 연속적인 상호작용으로 순서대로 실행합니다. 달라지는 점은 연결되는 시스템으로, 고객 지원의 CRM이나 헬스케어의 EHR 등이 있습니다. 몇 가지 산업 분야의 사례를 살펴보겠습니다.

고객 지원

Freedom Forever는 미국 최대 주택용 태양광 설치 기업 중 하나로, ElevenAgents를 사용해 발신자를 전문 영업 또는 지원 에이전트에게 연결하고, 일반적인 문의와 계정 업데이트를 처리하며, 필요할 때 전체 대화 기록 컨텍스트와 함께 상담원에게 인계합니다. 이 도입으로 지원 효율성이 90% 향상되었습니다.

금융 서비스

Better.com의 ElevenAgents 기반 대출 에이전트 Betsy는 대출자의 신원을 인증하고 계정 및 대출 상태를 조회하며, 모기지 업계 규정 준수 요건에 따라 다음 단계를 안내합니다. Betsy는 현재 대출자 문의의 35.5%를 자동화하여 대출 실행 비용을 줄이고 대출 전환율을 2배로 높였습니다.

헬스케어

EliseAI의 ElevenAgents 기반 음성 에이전트는 예약을 잡고, 청구 관련 질문에 답하며, 임상 관련 질문을 전국 의료 서비스 제공업체의 직원에게 연결합니다. 이 시스템은 AI 사용 사실을 고지하면서도 자연스러운 상호작용을 제공해, 의료 서비스 제공업체가 많은 통화량을 효율적으로 관리하도록 돕습니다.

영업 및 리드 검증

ElevenLabs는 자체 AI SDR을 사용해 영업 문의 양식으로 들어온 리드를 선별합니다. 사용 사례, 예상 규모, 일정에 관해 질문한 후 미팅을 담당자의 캘린더에 바로 예약합니다. 이 에이전트는 통화에 사람이 참여하지 않아도 인바운드 리드의 78%를 검증하며, 평균 고객 만족도는 10점 만점에 8.7점입니다.

리테일 및 이커머스

Meesho는 인도 최대 이커머스 마켓플레이스 중 하나로, 힌디어와 영어로 주문 지연, 취소, 환불을 처리하는 음성 에이전트를 구축했습니다. 이 에이전트는 현재 사람의 개입 없이 하루 60,000건 이상의 통화를 처리합니다.

AI 오케스트레이션 플랫폼에서 확인할 핵심 기능

오케스트레이션 플랫폼마다 실제로 처리할 수 있는 복잡성의 수준은 크게 다릅니다. 

플랫폼을 선택하기 전에 다음 사항을 확인하세요.

• 멀티 LLM 지원: 하나의 제공업체에 종속되지 않으며, 가격이나 성능 변화에 따라 모델을 교체할 수 있습니다.
• 상태 및 컨텍스트 처리: 플랫폼은 모든 단계에서 대화 기록과 변수를 추적하므로 워크플로가 3단계 전의 일을 놓치지 않습니다.
• 유연한 라우팅: 규칙 기반과 모델 평가 기반 로직을 모두 지원하므로, 모든 결정을 같은 방식으로 처리하는 대신 단계별로 적절한 제어 수준을 선택할 수 있습니다.
• 가드레일 및 감사 로그: 이는 모델 자체의 추론과 별개로 독립적인 시스템 검사로 실행되므로, 프롬프트로 잘못된 응답을 억제하는 데 의존하지 않고 자동으로 감지할 수 있습니다.
• 휴먼 인 더 루프 제어: 고위험 작업은 승인 절차를 거치게 하거나 컨텍스트를 유지한 채 담당자에게 인계할 수 있어, 결제, 환불, 계정 변경 시의 오류를 실행 전에 잡아낼 수 있습니다.
• 통합 범위: 플랫폼이 CRM, 결제, 일정 관리, 전화 시스템, 내부 데이터베이스 등 워크플로에서 연결해야 하는 시스템과 연동됩니다.

또 다른 중요한 고려 사항은 오케스트레이션된 AI 에이전트를 실제 운영 환경에 배포하기까지의 난이도입니다. ElevenLabs를 사용하면 대부분의 팀은 낮은 복잡도의 에이전트를 배포하도록 노코드 웹 플랫폼에서 1시간 이내에 구성할 수 있습니다. 더 복잡한 워크플로의 경우 Forward Deployed Engineers가 팀과 직접 협력하여 범위를 정의하고 구축할 수 있습니다.

간소화된 AI 오케스트레이션을 위한 ElevenAgents 시작하기

처음부터 오케스트레이션 워크플로를 구축하려면 실제 사용 사례를 다루기도 전에 상태 관리, 도구 통합, 전환 로직을 해결해야 합니다. ElevenAgents의 시각적 워크플로 빌더를 사용하면 팀은 노코드 환경에서 다단계 멀티 에이전트 대화를 설계할 수 있습니다. 결정론적 워크플로는 고위험 작업이 승인을 거치도록 하고, 가드레일은 모델 자체의 추론과 별개로 작동하며, 모든 대화는 감사를 위해 기록됩니다. 

ElevenAgents 가입하기를 통해 자체 워크플로에 맞춰 설계된 맞춤형 에이전트를 만들거나, 팀에 문의하기를 통해 AI 에이전트 배포를 어떻게 지원할 수 있는지 알아보세요.

AI 오케스트레이션 FAQ