Eleven v4를 소개합니다역대 가장 감성적인 모델, Eleven v4를 만나보세요.

콘텐츠로 건너뛰기

대화형 로봇 바리스타 KUBI를 만나보세요

작성자
Thor Schaeff
게시일
최종 업데이트

듣기이 글 오디오로 듣기

KUBI는 대만 가오슝의 차세대 24시간 연중무휴 코워킹 스페이스 Second Space에서 일하는 대화형 로봇 바리스타이자 리셉셔니스트입니다. 워크스페이스 운영이 완전히 자동화되어 있기 때문에, 회원과 처음으로 접점이 되는 KUBI가 친근하고 특별한 경험을 더하는 일은 매우 중요합니다. 그래서 Second Space는 회원에게 즐겁고 기억에 남는 상호작용을 제공하기 위해 ElevenLabs의 대화형 AI를 선택했습니다. KUBI가 어떻게 작동하는지 살펴보세요.

KUBI의 작동 방식

KUBI는 사람과 같은 상호작용을 구현하기 위해 정교한 다중 감각 아키텍처를 사용합니다. 이 시스템은 특화된 서비스들이 동시에 작동하고 실시간 이벤트 스트림을 통해 통신하는 마이크로서비스 아키텍처를 기반으로 합니다. 이 서비스들은 실시간 AI 추론을 활용한 얼굴 및 객체 인식, 카메라를 통한 컵 감지 및 상태 점검, 영수증 출력, 출입 통제를 위한 보안 얼굴 인식, 우유 및 원두 디스펜서의 정밀 제어 등 다양한 작업을 처리합니다.

다음은 동시에 실행되는 서비스의 일부입니다:

  • 환경 카메라 서비스: 실시간 AI 추론(Python의 PyTorch)을 사용해 얼굴과 객체를 감지합니다.
  • 태블릿 카메라 서비스: 유사한 방식으로 작동하지만, 테이블 위의 컵과 이물질을 감지하고 KUBI 로봇이 실제로 컵을 들고 있는지 등을 확인합니다.
  • 영수증 출력 서비스: Node + Typescript로 구현되어 간단하고 안정적입니다. RS232 감열 프린터와 통신합니다.
  • 결제 서비스: 안정적인 동시성과 타입 안전성을 위해 Kotlin JVM으로 구축되었습니다. 정부 영수증 보고와 신용카드 단말기, 암호화폐 결제 게이트웨이 또는 온라인 결제 제공업체와의 통신을 처리합니다. 
  • 우유 & 원두 디스펜서: 정밀 작업을 위한 별도 서비스입니다 — Arduino 기반으로, 시간 민감성과 낮은 지연 시간이 중요합니다.
  • 얼굴 인식: 출입 통제에 사용되는 안전하고 강한 타입의 Kotlin 서비스입니다.
  • 워터젯 서비스: 사용 후 우유 스티밍 피처를 자동으로 세척합니다 — Arduino 기반입니다.
  • 이 외에도 모바일 앱 API, 메뉴 표시 등을 위한 다양한 서비스가 있습니다…

왜 이렇게 많은 마이크로서비스가 필요할까요? 간단합니다 — 각각 독립적으로 관리하고, 손쉽게 확장하며, 작업마다 가장 적합한 도구를 사용하기 위해서입니다.

모든 것을 연결하는 중앙 이벤트 기반 코어

이 모든 마이크로서비스를 조율하는 것은 재미있게도 "BigBoy"라고 부르는 중앙 서비스입니다. 본질적으로는 거대한 논블로킹 이벤트 프로세서입니다:

BigBoy의 작동 방식:

  1. 모든 서비스에서 들어오는 이벤트를 수신합니다.
  2. 시나리오에서 적합한 트리거를 확인합니다.
  3. 가장 적합한 시나리오를 선택합니다.
  4. 재생할 작업을 예약합니다.

internal object WeatherIdleScenario: SingleTaskScenario(scenario){
   
    importance = Importance.Medium
    compilationTimeout = Time.ThreeSeconds
    interruptable = false
    exeutionExpiration = = Time.TenSeconds
   
    override fun isEligible(event: Event, environment: Environment): Maybe<Boolean> = withEnvironment(environment) {
        just {
            (event is IdleEvent 
                    && !triggeredInLast(40.minutes) 
                    && (personPresent() || hasActiveSessions) 
                    && environment.weatherService.lastReportWithin(10.minutes))
        }
    }
}

private val scenario = ScenarioRecipe { event, env, session ->


    invokeOneOf(
       
        phrase {
              sayWith { 
                "Rainy day today, isn't it? That's why I have my little umbrella! Look!".asEnglish
              }.withAutoGift().withAutoMotion()
        }.given { Weather.isRaining() },

        phrase {
            sayWith {
                "Friend, it's so cold outside! So sad for you... because you're a human. I don't really mind!".asEnglish
            }.withAutoMotion()

           sayWith {
                "Wait, that soudned a bit rude.".asEnglish
            }.withAutoMotion()

        }.given { Weather.isCold() },

    )


}

시나리오란 무엇인가요?

시나리오는 로봇의 액션 이벤트를 위한 논블로킹 컴파일러라고 생각하면 됩니다. 액션 이벤트는 보통 체인에서 가장 하류에 있는 이벤트, 즉 동작이나 음성과 같은 물리적 효과로 이어지는 마지막 단계입니다. 예를 들어, 인사 시나리오는 다음을 트리거할 수 있습니다:

SayEvent("Hello! Welcome!", wave.gif)
MotionEvent(HelloMotion)

LLM을 활용한 이벤트 생성: 일부 액션 이벤트는 LLM이 자동으로 생성합니다. 예를 들어 withAutoMotion는 주어진 컨텍스트를 바탕으로 미리 정의된 목록에서 가장 적합한 동작을 선택합니다. 반면 withAutoGif는 LLM을 사용해 주어진 문구에 가장 적합한 태그를 생성합니다. 이 태그는 Giphy에서 GIF를 가져오는 데 사용되며, 이후 해당 문구와 함께 KUBI의 얼굴에 표시됩니다.

액션 이벤트 동기화: 이 이벤트들은 음성, 표정, 동작이 동기화된 상태를 유지하도록 하는 스케줄러를 거칩니다. 동기화를 통해 KUBI의 음성과 제스처가 완벽하게 일치합니다.

유연하고 확장 가능한 구조

흥미로운 점은 시나리오가 액션 이벤트를 수신하고 새로운 액션 이벤트를 동적으로 트리거할 수도 있다는 것입니다. 예를 들면 다음과 같습니다:

  • BigBoy가 SayEvent("Merry Christmas")를 감지하면, 방 안의 축제 조명과 특수 효과를 자동으로 트리거할 수 있습니다.
  • 또 다른 흥미로운 예로, 사용자가 주문을 위해 모바일 앱을 선택하면 상품 클릭, 결제 등 모든 사용자 상호작용이 이벤트로 변환되고 BigBoy가 실시간으로 반응할 수 있습니다. 예를 들어 사용자가 “오트밀크 라테”를 지나쳐 스크롤하면 KUBI가 “정말 오트밀크 라테는 원하지 않으세요? 정말 맛있어요!”라고 말할 수 있습니다.

BigBoy는 말 그대로 일어나는 모든 일을 보고 알고 있습니다. 꽤 멋지지 않나요?

DevOps 및 관측성

대부분의 서비스는 로컬에서 호스팅되며 Docker 컨테이너로 패키징됩니다. 컨테이너 내에서는 Supervisor 프로세스 제어 시스템이 수명 주기를 관리합니다. 오류 로그는 Sentry에 수집되어 맞춤형 관리자 앱으로 전달되며, 이를 통해 예외 상황, 서비스와 센서의 실시간 상태, 지연 시간 보고를 모니터링합니다. 흥미로운 점은 Flutter 앱의 90%가 AI로 생성되었다는 것입니다.

ElevenLabs로 기억에 남는 상호작용 만들기

Second Space는 KUBI를 위해 매우 구체적인 성격을 구상했습니다. 데드풀, Portal 게임의 Wheatley, 그리고 Apex Legends의 Pathfinder가 조금 섞인 성격입니다. 음성을 한층 더 사람답게 만드는 감정과 휴지까지 갖춘 음성을 단 15분 만에 디자인했습니다. 

ElevenLabs는 두 가지 핵심 API를 통해 KUBI의 음성 기능을 지원합니다:

텍스트 음성 변환(TTS)

  • 전체 상호작용의 약 90%를 처리합니다.
  • 완벽한 분위기를 위해 미리 설계된 시나리오를 사용합니다.
  • LLM이 생성한 메시지는 개인화할 수 있으며, 고품질 오디오와 뛰어난 발음을 제공하고 시간 제약이 크지 않습니다.
  • 영어, 중국어, 스페인어, 일본어는 물론 라트비아어까지 매우 자연스러운 다국어 음성을 제공합니다(라트비아어 데드풀은 어떠신가요?).

대화형 모드(실시간)

고객이 "Hey KUBI!"라고 말하면 활성화되며, ElevenLabs의 대화형 AI는 200ms 안에 응답해 상호작용을 실제 사람과 대화하는 듯하게 만듭니다.

  • 우선순위: 낮은 지연 시간.
  • 응답성을 위해 일부 오디오 품질을 절충합니다.
  • ElevenLabs의 새로운 실시간 language_detection 도구를 사용해 다양한 언어를 즉시 동적으로 처리합니다.
  • 회원이 시설에 들어오거나 “Hey, KUBI!”라고 말하면 필요에 따라 대화형 AI 세션이 시작됩니다.

맞춤형 대화 도구

KUBI는 WebSocket 연결을 통해 ElevenLabs의 대화형 AI를 사용하여 함수 호출을 활용할 수 있습니다. 예를 들면 다음과 같습니다: 

  • make_order: 주문을 인식하고 이벤트를 BigBoy로 직접 전송합니다.
  • make_payment: PaymentService에 즉시 알림을 보내 결제를 위한 신용카드 단말기를 작동시킵니다.

ElevenLabs의 관리자 패널에서 서로 다른 LLM 모델을 쉽게 전환하면 Second Space가 이해도와 정확성을 최적화하는 데 도움이 됩니다. 모델마다 도구 인텐트를 인식하는 성능이 다르다는 점을 확인했기 때문입니다. 현재 대화형 AI의 핵심 모델로 Gemini 2.0 Flash를, 정적 음성 생성에는 ChatGPT 4o를 사용하고 있습니다.

KUBI를 추가 시장으로 확장하기

Second Space가 ElevenLabs를 언급한 첫 GitHub 커밋은 다국어 모델이 출시되기 전인 2023년 1월로 거슬러 올라갑니다. 이들은 일찍부터 ElevenLabs의 품질에 대한 헌신을 알아보고, 향후 다국어 지원을 예상한 아키텍처를 자신 있게 구축했습니다. 이제 일본과 한국 같은 시장에 진출하는 일은 스위치를 켜는 것만큼 간단합니다 — 추가 개발 작업이 필요하지 않습니다! 

결론

마이크로서비스, 실시간 이벤트, 그리고 ElevenLabs의 강력한 음성 기술은 KUBI를 진정으로 살아 있는 듯하게 만들며, 한 잔의 커피와 재치 있는 상호작용으로 세상을 사로잡고 즐겁게 할 준비를 갖추게 합니다. 

작성자

A smiling man in a blue polo shirt and black cap standing outdoors in front of a modern building.

Thor Schaeff

Developer Experience

유사한 기사

최고 품질의 AI 오디오로 창작하세요