의도 인식이란? NLP에서 사용자 목표 이해하기
- 게시일
- 최종 업데이트
사용자가 LLM 에이전트에 보내거나 Google에 입력하는 모든 메시지에는 의도가 담겨 있습니다. 특정 정보를 찾거나 행동을 수행하는 등, 목표를 이루기 위해 메시지를 작성하는 것입니다.
의도 인식은 그 목표가 무엇인지 파악하고, 목표를 바탕으로 사용자에게 필요한 것을 정리하며, 요청을 최대한 정확하게 처리하는 과정입니다. 의도를 정교하게 파악하는 시스템은 정확한 응답으로 고객을 더 잘 지원해 참여도와 만족도를 높일 수 있습니다.
이 글에서는 의도 인식의 정의와 LLM 검색 시대에 의도가 어떻게 발전해 왔는지 살펴보겠습니다.
요약
- 의도 인식은 입력의 목표를 분류하는 자연어 처리 기법입니다.
- 대화에서 의도를 인식하기 위해 모델은 대화 전처리, 특징 추출, 분류, 개체 추출의 네 단계를 거칩니다.
- LLM과 상호작용할 때 의도는 정보 탐색, 거래, 대화, 탐색 의도로 나뉠 수 있습니다.
- 연구자들이 의도 인식을 미세 조정할 때 고려하는 대표적 과제는 언어적 모호성, 범위 밖 입력, 다중 의도 대화입니다.
의도 인식이란?
의도 인식은 사용자가 맥락상 달성하려는 바를 기준으로 음성 또는 텍스트 입력을 분류하는 자연어 처리(NLP) 기법입니다. 소프트웨어가 입력을 이해하고 따라야 할 적절한 행동 방침을 결정해야 하므로, 이 기법을 의도 분류라고도 합니다.
의도 인식은 단순한 키워드 매칭이 아니라는 점이 중요합니다. 같은 목표도 언어적으로 매우 다양하게 표현되므로 매칭만으로는 충분하지 않습니다. 예를 들어 “사용자 정보가 작동하지 않아요”, “왜 로그인할 수 없나요?”, “계정이 잠긴 것 같아요”, “비밀번호가 작동하지 않아요”는 모두 같은 근본 의도를 서로 다르게 표현한 문장입니다.
AI 시스템은 NLP 기능으로 의도 인식을 활용해 사용자가 상호작용에서 원하는 바를 더 잘 이해하고, 모든 대화에서 최선의 경험을 제공할 수 있습니다.
의도 인식은 어떻게 작동하나요?
AI 시스템이 의도 인식에 사용하는 정확한 아키텍처는 제공업체에 따라 다릅니다. 하지만 일반적으로 시스템은 원시 입력을 명확히 정의된 의도로 변환하기 위해 동일한 4가지 핵심 단계를 변형해 사용합니다.
의도 인식의 4단계는 다음과 같습니다.
- 전처리
- 특징 추출
- 분류
- 개체 추출
각 단계를 자세히 살펴보겠습니다.
전처리
음성이든 텍스트든 입력은 모델이 일관되고 인식 가능한 형식으로 처리할 수 있도록 정제해야 합니다. 텍스트의 경우 맞춤법 오류를 수정하고, 문장 부호와 대소문자를 제거한 뒤, 토큰화를 통해 드물거나 긴 단어를 더 작은 하위 단어 단위로 나눕니다. 물론 문장 의미에 직접 영향을 주지 않는다면, 명확성을 위해 “a”, “the”처럼 빈도가 높은 기능어를 제거하기도 합니다.
자동 음성 인식 파이프라인에서는 모델이 정규화된 전사문을 처리하기 전에 들어오는 음성 데이터를 먼저 텍스트로 전사해야 하므로, 전처리에 한 단계가 더 추가됩니다.
특징 추출
정제된 텍스트는 이후 소프트웨어가 처리할 수 있는 수치 표현으로 변환됩니다. 특징 추출은 문장의 의미를 유지하면서 이를 수치로 표현합니다.
연구자들이 이 단계에서 사용하는 전략은 지난 몇 년 동안 크게 발전했습니다. 초기에는 단어의 고유성이나 빈도에 따라 가중치를 부여하는 Bag-of-Words 모델이나 Term Frequency-Inverse Document Frequency(TF-IDF) 표현을 사용했습니다. 빠른 결과를 얻을 수는 있었지만 문장의 미묘한 차이를 포착하지 못했습니다. 결국 “취소하고 싶지 않아요”와 “취소하고 싶어요”는 거의 같은 단어를 공유하지만 의미는 완전히 다릅니다.
TF-IDF로 어려울 수 있는 또 다른 예는 “개가 고양이를 문다”와 “고양이가 개를 문다”입니다. 문장에서 아주 적은 부분만 바뀌어도 의미는 완전히 달라집니다.
더 현대적인 특징 추출 방식은 밀집 벡터 표현을 사용해 사용자 입력을 나타내는 벡터 임베딩을 만드는 것입니다. 이러한 임베딩은 가까운 거리 관계를 통해 맥락을 연결하며, 유사한 의미의 단어를 묶어 공간적 관계에서 맥락을 추론합니다.
트랜스포머 기반 인코더는 이를 한 단계 더 발전시켜, 주변 단어에 따라 한 단어의 벡터가 바뀌는 맥락 지도를 만듭니다. 이는 맥락에 따라 여러 의미를 갖는 단어에 필수적입니다(“이 지침을 읽어 주세요”, “어제 그 기사를 읽었어요”).
문장의 맥락적 표현은 의도 인식 시스템이 사용자가 원하는 바를 이해하고 이후 단계에서 이를 분류할 수 있게 해 줍니다.
분류
입력의 명확한 표현을 확보한 모델은 이를 여러 알려진 의도 사례와 비교하고, 그 과정에서 신뢰도 값을 부여할 수 있습니다. 여러 의도 유형을 검토한 뒤 가장 높은 신뢰도 값을 가진 의도를 선택합니다.
일부 팀은 분류를 위해 신뢰도 임계값을 실험합니다. 너무 낮게 설정하면 상당히 부정확한 의도도 다음 단계로 넘어갈 수 있습니다. 반대로 너무 높게 설정하면 모델이 의도를 확정적으로 분류하지 못해 다음 단계로 진행할 수 없게 됩니다.
분류 모델을 미세 조정하면 비즈니스에 가장 적합한 값을 찾는 데 도움이 됩니다.
모델이 의도를 식별하지 못하면, 설정에 따라 사용자에게 추가 질문을 하거나 상담원에게 에스컬레이션할 가능성이 높습니다.
개체 추출
개체 추출을 별도 단계로 설명하고 있지만, 실제로는 분류와 동시에 진행됩니다. 개체 추출은 주문 번호, 계정 정보, 제품명 또는 모델이 요청을 실행하는 데 도움이 되는 기타 세부 정보처럼 이후 응답에 유용한 정보를 입력에서 가져옵니다.
이 단계에서 추출된 개체는 요청을 성공적으로 실행하는 데 필요한 사용자별 정보를 제공합니다. 예를 들어 분류가 사용자의 주문 취소 의도를 식별하면, 개체 추출은 에이전트에 어떤 주문과 어떤 고객 계정에 조치를 취해야 하는지 알려 줍니다.
의도 인식과 의도 감지 비교
의도 인식과 의도 감지는 흔히 같은 의미로 사용되지만, 약간 다른 뜻을 가집니다. 의도 인식은 사용자 요청에 담긴 의도를 분류하는 전체 과정입니다. 의도 감지는 그 과정의 첫 단계만을 뜻하며, 사용자 응답에 의도가 있는지 자체를 감지합니다.
실무에서 이 차이는 엣지 사용 사례에서만 중요합니다. 예를 들어 고객 지원 에이전트가 학습된 맥락과 전혀 관련 없는 질문을 받으면, 먼저 의도 감지를 사용해 해당 의도가 지식 베이스에 적용되지 않는다고 판단할 수 있습니다. 이후 우아하게 실패 처리하는 등의 행동은 의도 인식 설정에 따라 결정됩니다.
의도의 유형
질문의 수만큼 구체적인 의도가 존재합니다. 질문의 모든 가능한 표현마다 서로 다른 의도를 요구하는 대신, 시스템은 일반적으로 먼저 의도 카테고리를 식별한 후 그에 맞게 행동합니다.
NLP 시스템의 주요 의도 유형은 다음과 같습니다.
- 정보 탐색 의도: 사용자의 주된 목표가 특정 정보를 배우거나 얻는 입력을 말합니다. 올바른 응답은 설명을 제공하거나, 사용자가 알아볼 수 있는 적절한 리소스를 안내하는 것입니다.
- 탐색 의도: 사용자가 특정 리소스나 페이지를 찾고자 하는 경우를 말합니다. 시스템은 이 의도를 분류하고 개체를 추출한 뒤 적절한 위치로 연결합니다.
- 거래 의도: 예약을 하거나 구독을 취소하는 것처럼 사용자가 특정 목표를 달성하려는 입력을 말합니다. 거래 의도는 항상 결과를 수반하는 행동에 기반합니다.
- 대화 의도: 다른 카테고리가 아니라 주로 사회적 상호작용을 목적으로 하는 입력을 말합니다. 널리 사용할 수 있는 LLM이 늘어나면서, 일부 사람들은 범용 에이전트를 일상 대화용 인터페이스로 사용하고 있어 이러한 형태의 의도가 더 흔해졌습니다.
LLM은 모든 카테고리에서 이러한 모든 유형의 의도를 처리할 수 있습니다. 그럼에도 입력이 어떤 의도 카테고리에 속하는지 이해하면 더 정확한 응답을 구성하는 데 도움이 됩니다. 에이전트가 수행하는 도구 호출부터 작성하는 정확한 답변까지, 모든 것은 먼저 사용자 입력의 근본 의도를 식별하는 데 달려 있습니다.
산업 전반의 의도 인식 활용 사례
대화가 자연스럽게 이어지려면 응답이 의도와 일치해야 하므로, 의도 인식은 모든 자동 응답 시스템의 핵심입니다.
다양한 산업에서 의도를 활용하는 몇 가지 사례는 다음과 같습니다.
- 고객 서비스: 음성 에이전트는 의도 인식으로 고객의 음성 요청을 이해하고 적절한 부서나 리소스로 연결합니다. 이 단계에서 잘못 분류하면 고객이 잘못된 담당자에게 연결되거나 문의가 해결되지 않을 수 있습니다.
- 헬스케어: 의도 인식은 예약을 관리하는 헬스케어 어시스턴트를 구동합니다. 헬스케어나 금융처럼 위험도가 높은 산업에서는 심각한 오류로 이어질 수 있는 잘못된 분류를 피하기 위해 더 높은 신뢰도 임계값을 사용하는 경우가 많습니다.
- 인사: HR 대화형 어시스턴트는 회사 내부 문서에 연결되어 직원이 필요한 리소스를 찾도록 안내할 수 있습니다. 예를 들어 직원이 휴가 복리후생에 관해 질문하면, 에이전트는 정보 탐색 의도를 이해하고 더 넓은 위키에서 관련 세부 정보를 찾아 제시할 수 있습니다.
정확한 의도 인식은 성공적인 대화를 이끄는 출발점입니다. 의도가 잘못되면 그다음 대화도 잘못될 수 있습니다.
의도 인식의 과제
발화의 의도를 인식하는 일은 전적으로 언어적 과제입니다. 의미는 변하고, 단어는 맥락에 따라 기능이 달라지며, 같은 문구도 말하는 방식에 따라 다른 뜻을 가질 수 있습니다. 특히 의도 인식이 음성 에이전트에 점점 더 많이 도입되면서 이 마지막 지점은 매우 중요해졌습니다.
의도 인식의 주요 과제와 해결 방법은 다음과 같습니다.
- 모호성: 같은 문구가 말하는 방식에 따라 두 가지 다른 의미를 가질 때, 언어적 모호성은 의도 인식의 확실성을 낮출 수 있습니다. 이를 해결하기 위해 모델은 여러 대화 턴에 걸쳐 맥락을 구축하여 사용자가 원하는 바를 더 포괄적으로 이해합니다. 모델이 활용할 맥락이 많을수록 응답을 더 정확하게 구성할 수 있습니다.
- 모델 범위를 벗어난 대화: 사용자가 모델의 지식 범위를 크게 벗어나는 질문을 하면, 모델은 의도를 가장 가까운 유사 카테고리로 잘못 분류해 부정확한 응답을 낼 수 있습니다. 한 가지 해결책은 이런 일이 발생할 가능성을 줄이기 위해 모델을 엣지 사용 사례로 학습하는 것입니다. 특정 주제가 대화에서 침범되지 않도록 가드레일을 함께 적용하면 위험을 완화하는 데 도움이 됩니다.
- 다중 의도 입력: 대화가 항상 입력과 의도 간 1:1 관계로 이루어지는 것은 아닙니다. “제 주문을 취소하고, 앞으로의 주문을 위해 배송 주소도 변경해 주실 수 있나요?”에는 서로 다른 두 가지 목표가 있습니다. 다중 레이블 분류기를 사용하면 하나 이상의 의도 또는 목표를 포함하는 대화 문자열을 식별할 수 있어, 여러 근본 요구를 다룰 때 정확도를 높일 수 있습니다.
이러한 과제를 이해하고 예측하면 연구자들은 이를 미리 완화할 요소를 마련할 수 있습니다.
ElevenAgents 시작하기
음성 에이전트에서 의도 인식은 대화형 AI 시스템의 정확성과 고객 만족도를 높게 유지하는 데 도움이 됩니다. 의도가 반복적으로 맞지 않으면 에이전트에 대한 고객 신뢰가 약화되고, 사용자가 AI 지원 시스템과 상호작용하려는 의지도 낮아집니다.
ElevenAgents는 의도 인식을 활용해 사용자에게 필요한 것을 정확히 이해하고 대화에서 이를 지원합니다. 상호작용을 올바르게 연결하고, 관련 정보를 가져오거나, 필요에 따라 통화를 에스컬레이션합니다.
ElevenAgents에 대해 자세히 알아보거나 가입하여 사용자가 원하는 바를 이해하는 음성 에이전트 구축을 시작하세요.
