Què és el crawl budget en SEO

Avui disseccionem el concepte de crawl budget, un concepte clau dins del SEO.

Un cop que tinguis clar què és i com funciona, et resultarà molt més senzill de comprendre per què la indexació d'un lloc o un altre porta un ritme diferent, amb una freqüència de rastreig totalment diferent.

Abans d'explicar com afecta el nostre posicionament, hauríem explicar què és el crawl budget. En realitat, la traducció literal de l'anglès resulta força il·lustrativa: seria una cosa així com ara "pressupost de rastreig".

Diguem que els cercadors no ens dediquen una atenció il·limitada. Se’ns atorga un "pressupost" en funció de la rellevància que l'algoritme determini i de la capacitat que el nostre site tingui per a ser recorregut sense generar errors.

Això darrer és molt important: no hem de causar colls d'ampolla per culpa d'una arquitectura de la informació ineficient.

Per tant, hem de tenir clar que Google només ens dedica un crawl budget en un lapse de temps concret. Quan acabi aquest període, s'aturarà passant a un altre site web fins a la propera visita.

Totes les URLs (pàgines, CSS, JavaScript, PDF...) que excedeixin el rastreig assignat són contingut que es queda sense crawlejar. Això implica que no s'indexa tot de manera adequada. No és cap ximpleria, oi?

Recorda que els bots recorren el teu site web tal com ho faria un usuari, passant d'un enllaç a un altre.

Per això, has de tenir cura per tal que la manera d'estructurar la informació sigui lògica i que no es generin, per exemple, enllaços reflexius que no aportin res a la navegació ni, el que és pitjor, el que podríem anomenar "enllaços trampa", com els que pot generar un calendari il·limitat en el temps per a reservar cites (un punt on es pot "enganxar" el bot de manera molt senzilla i desistir sense veure el que hauria de veure).

La veritat és que Google no acostuma a molestar-se a donar detalls del seu funcionament intern. De fet, sovint no es digna ni a confirmar un update de l'algoritme, ni tan sols ha informat mai de quin és el pes exacte de cada factor de ranking. 

En el cas del pressupost de rastreig, tampoc és que ens informi exactament de si se'ns ha atorgat 1 o 10. Però hi ha una manera de tenir-ne una idea aproximada a través de Google Search Console (ja saps, la consola per a centralitzar la informació del teu site web pel que fa a Google).

Assumim que ja tens la propietat registrada. Si no és així, hauries de fer-ho ja mateix.

Després hauràs d'accedir a l'informe d'estadístiques de rastreig que es troba a la ruta Ajustos > Estadístiques de rastreig. A més d'una enorme quantitat d'informació sobre les sol·licituds de rastreig desglossades per:

• Tipus de resposta: pàgines que responen amb 200 (ok), errors 400 i redireccions.
• Tipus d'arxiu: HTML, JavaScript, JSON...
• Finalitat: aquí podrem saber quantes de les pàgines han estat re-crawlejades i quantes han estat descobertes en aquest període. Interessant per saber si el crawl budget és suficient per arribar a aquests recursos nous que has afegit.
• Tipus de robot: hi ha dos tipus de crawlers que ens interessen especialment: el d'escriptori i el mòbil. Para atenció especial al darrer, ja saps que el SEO ha virat cap al Mobile First Index.

Amb tot això ja tens prou informació, però no és el que millor et pot orientar pel que fa al crawl budget. Per a fer-ho, fixem-nos en el gràfic que apareix en primer terme dins de l'informe.

Aquí pots veure la quantitat de sol·licituds que ha processat el sistema en els darrers 90 dies. En l'exemple que pots veure aquí es tracta d’una pàgina petita que oscil·la molt: va des de les 5 fins a pics de més de 70.

Per tenir una dada una mica més concreta, el millor és exportar aquestes dades i treballar-les mínimament en un full de càlcul. Simplement, has d'obtenir la mitjana diària perquè, com veus, no és gens lineal.

En el cas de l'exemple que comentem són 1.129 que, dividides pels 90 dies analitzats, ens ofereixen un crawl budget mitjà de 12,5. Aquests són els recursos que es recorren diàriament.

És cert que, com dèiem, no és una cosa lineal. Això es deu al fet que l'algoritme va avaluant les necessitats de rastreig en funció de:

• Nivell de la popularitat/rellevància de les pàgines (enllaços interns, externs i quantitat de cerques per a les quals rankeja).
• Actualització o freshness: com més sovint s'actualitzi el contingut d'una URL, més procliu serà el cercador a la revisió. Això, indirectament, també depèn del tipus de pàgina.

Imatges | Unsplash, Google Search Console.