크롤링 작업 생성

POST

/v1/convai/knowledge-base/crawl

지정된 깊이 및 페이지 제한으로 주어진 URL을 크롤링하는 작업을 생성합니다.

This endpoint expects an object.

urlstring필수

에이전트가 사용자와 상호작용하기 위해 액세스할 수 있는 문서 페이지의 URL입니다.

max_pagesinteger선택 사항1-10000기본값 1000

크롤링할 최대 페이지 수(1~10,000)이며, 기본값은 1000입니다.

patternstring선택 사항<=2048 characters

설정하면 이 패턴과 일치하는 URL만 포함됩니다.

sitemap_urlslist of strings선택 사항

사이트맵에서 크롤링할 URL 목록입니다(선택 사항, 자동 URL 검색을 재정의함).

parent_folder_idstring선택 사항

설정하면 생성된 문서 또는 폴더가 지정한 폴더 안에 배치됩니다.

enable_auto_syncboolean선택 사항기본값 false

이 URL 문서에 자동 동기화를 활성화할지 여부입니다.

auto_removeboolean선택 사항기본값 false

URL을 사용할 수 없게 되면 문서를 자동으로 제거할지 여부입니다. 자동 동기화가 활성화된 경우에만 적용됩니다.

auto_discoverboolean선택 사항기본값 false

자동 동기화 중 이미 크롤링된 페이지에서 연결된 새 페이지를 자동으로 검색하고 추가합니다. enable_auto_sync=true가 필요합니다.

minimum_frequency_daysinteger선택 사항1-180

기본 적격 문서가 새로 고쳐지는 최소 빈도(일)입니다. 실제 간격은 이보다 짧을 수는 있지만 길어질 수는 없습니다. 기본값은 7이며, 상위 폴더의 빈도가 더 엄격한 경우 그 빈도로 제한됩니다. 자동 동기화가 활성화된 경우에만 적용됩니다.

max_depthinteger선택 사항기본값 3Deprecated

지원 중단됨 - 이 필드는 아무 작업도 수행하지 않으며 향후 버전에서 제거됩니다.

성공 응답

idstring

typeenum기본값 discovery

허용된 값:

root_folder_idstring

statusstring

created_atinteger

folder_pathlist of objects선택 사항

루트에서 상위 폴더까지 루트 폴더로 이어지는 폴더 경로 세그먼트입니다.

422

Crawl Jobs Create Request Unprocessable Entity Error