Qué es el crawl budget en SEO

Hoy entramos a diseccionar el concepto de crawl budget, un concepto clave dentro del SEO.

Una vez que tengas claro qué es y cómo funciona, te resultará mucho más sencillo comprender por qué la indexación de un sitio u otro lleva un ritmo diferente, con una frecuencia de rastreo totalmente distinta.

Antes de explicar cómo afecta a nuestro posicionamiento, deberíamos explicar qué es el crawl budget. En realidad, la traducción literal del inglés resulta bastante ilustrativa: sería algo así como “presupuesto de rastreo”.

Digamos que los buscadores no nos dedican una atención ilimitada. Se otorga un “presupuesto” en función de la relevancia que el algoritmo determine y de la capacidad que nuestro sitio tenga para ser recorrido sin generar errores.

Esto último es muy importante: no debemos causar cuellos de botella por culpa de una arquitectura de la información ineficiente.

Por lo tanto, debemos tener claro que Google solo nos va a dedicar un crawl budget en un lapso de tiempo concreto. Cuando termine ese periodo, se detendrá pasando a otro sitio web hasta la próxima visita.

Todas las URLs (páginas, CSS, JavaScript, PDF…) que excedan el rastreo asignado son contenido que se queda sin crawlear. Esto implica que no se indexa todo de manera adecuada. No es ninguna tontería, ¿verdad?

Recuerda que los bots recorren tu sitio web tal y como lo haría un usuario, pasando de un enlace a otro.

Por ello, debes tener en cuenta que la manera de estructurar la información sea lógica y que no se generen, por ejemplo, enlaces reflexivos que no aporten nada a la navegación ni, lo que es peor, lo que podríamos llamar “enlaces trampa”, como los que puede generar un calendario ilimitado en el tiempo para reservar citas (un sitio en el que se puede “enganchar” el bot de manera muy sencilla y desistir sin ver lo que debería).

Lo cierto es que Google no suele molestarse en dar detalles de su funcionamiento interno. De hecho, muchas veces no se digna ni a confirmar un update del algoritmo, ni siquiera ha informado jamás de cuál es el peso exacto de cada factor de ranking.

 En el caso del presupuesto de rastreo, tampoco es que nos informe exactamente de si se nos ha otorgado 1 o 10. Pero hay una forma de tener la idea aproximada de cuál es a través de Google Search Console (ya sabes, la consola para centralizar la información de tu sitio web con respecto a Google).

Damos por sentado que ya tienes la propiedad registrada. Si no es así, deberías hacerlo ya mismo.

Después tendrás que acceder al informe de estadísticas de rastreo que se encuentra en la ruta Ajustes > Estadísticas de rastreo. Además de una enorme cantidad de información sobre las solicitudes de rastreo desglosadas por: 

• Tipo de respuesta: páginas que responden con 200 (ok), errores 400 y redirecciones.
• Tipo de archivo: HTML, JavaScript, Json…
• Finalidad: aquí podremos saber cuántas de las páginas han sido re-crawleadas y cuántas han sido descubiertas en ese periodo. Interesante para saber si el crawl budget es suficiente para llegar a esos recursos nuevos que has añadido.
• Tipo de robot: hay dos tipos de crawlers que nos interesan especialmente: el de escritorio y el móvil. Presta especial atención a este último, ya sabes que el SEO ha girado hacia el Mobile First Index.

 Con todo esto tienes bastante información, pero no es lo que mejor te puede orientar en lo referente al crawl budget. Para ello, vamos a fijarnos en el gráfico que aparece en primer término dentro del informe.

Aquí puedes ver la cantidad de solicitudes que ha procesado el sistema en los últimos 90 días. En el ejemplo que puedes ver aquí se trata una página pequeña que oscila mucho: va desde las 5 hasta picos de más de 70.

Para tener un dato un poco más concreto, lo mejor es exportar esos datos y trabajarlos mínimamente en una hoja de cálculo. Simplemente, tienes que obtener la media diaria porque, como ves, no es en absoluto lineal.

En el caso del ejemplo que estamos comentando son 1.129 que, divididos por los 90 días analizados, nos ofrecen un crawl budget medio de 12,5. Esos son los recursos que se recorren diariamente.

Es cierto que, como decíamos, no es algo lineal. Esto se debe a que el algoritmo va evaluando las necesidades de rastreo en función de: 

• Nivel de la popularidad/relevancia de las páginas (enlaces internos, externos y cantidad de búsquedas para las que rankea).
• Actualización o freshness: cuanto más a menudo se actualice el contenido de una URL, más proclive será el buscador a la revisión. Esto, indirectamente, también depende del tipo de página.