Crawltaak maken
Maak een crawltaak om de opgegeven URL te crawlen met de opgegeven diepte- en paginalimieten.
Headers
Request
Maximumaantal pagina’s dat moet worden gecrawld (1-10.000), standaard 1000.
Lijst met URL’s uit de sitemap die moeten worden gecrawld (optioneel, overschrijft automatische URL-detectie).
Of automatisch synchroniseren voor dit URL-document moet worden ingeschakeld.
Ontdek en voeg tijdens automatische synchronisatie automatisch nieuwe pagina’s toe die zijn gelinkt vanaf al gecrawlde pagina’s. Vereist enable_auto_sync=true.
Minimale frequentie (in dagen) waarmee de onderliggende in aanmerking komende documenten worden vernieuwd. Het werkelijke interval kan korter zijn, maar nooit langer. Standaard is dit 7, aangescherpt tot de frequentie van de bovenliggende map als die strenger is. Alleen van toepassing wanneer automatische synchronisatie is ingeschakeld.
Verouderd - dit veld heeft geen effect en wordt in een toekomstige versie verwijderd.