SEO Effect heeft een eigen crawler die je site scant als je een campagne aanmaakt. Je kunt ook een re-crawl doen om bijvoorbeeld:
- een url error rapport te maken.
- een site scan te doen met interne linkstructuur
Per campagne type zijn er verschillende limieten voor de aandacht die onze bot aan jouw site geeft. Dit noemen we het ‘crawlbudget’.
Hoe groter het crawlbudget:
- hoe meer URL’s er gevonden worden,
- hoe meer crawlfouten we in potentie voor je kunnen vinden
- hoe beter we je sitestructuur in kaart kunnen brengen
- en hoe preciezer de interne linkjuice voor je SEO pagescans uitgevoerd kunnen worden.
‘Crawlbudget’ per campagne niveau
Campagne niveau | OF Max Tijd in minuten | Of Max aantal URL’s |
Trial & Small | 5 | 300 |
Medium | 10 | 500 |
Large | 20 | 2000 |
Het werkt zo: de SEO Effect crawler stopt na x minuten of Y URL’s.
Bottom line: Hoe hoger je campagne niveau, hoe meer aandacht van onze crawler je site krijgt. Je haalt niet altijd het maximale aantal URL’s per campagne niveau maar de kans wordt wel groter.
Andere crawl bronnen
Naast onze eigen bot kunnen er ook URLs (ontdubbelt) toegevoegd worden via:
- je XML sitemap
- Google search console
- handmatig toegevoegde URLs
Uit een eerste crawl kunnen zodoende meer URLs komen dan bovenstaande limieten. Verwarrend maar beter dan niet extra toegevoegde URL’s.
Voorbeeld 1:
Voor een medium campagne waarin 759 URL’s gevonden zijn van totaal 2000 URL’s, is de 10 minuten tijdslimiet de grens geweest.
Na bv 7 minuten crawlbudget is dan al de grens van 500 URL’s bereikt. Er wordt dan nog verder gecrawled om de xml sitemap te crawlen. Bonus: 259 URL’s.
Voorbeeld 2:
Voor een medium campagne waarin 421 URL’s van totaal 2000 URL’s gevonden zijn is ook 10 minuten tijdslimiet de grens geweest.
Pas na 10 minuten crawlbudget zijn er 421 URL’s gevonden. Gen extra URL’s uit de xml sitemap.
Voorbeeld 3:
Voor een medium campagne waarin 500 URL’s van totaal 2000 URL’s gevonden zijn is de URL limiet de grens geweest.
Na 10 minuten crawlbudget zijn er 400 URL’s gevonden. En er werden er toen nog 100 uit de XML sitemap toegevoegd.
Reageer hier