Cómo cerrar páginas a los buscadores

Cerrar páginas a los buscadores es un trabajo esencial a nivel de SEO on page. Consiste en darle a los bots de búsqueda solo aquel contenido que queremos que se indexe, es decir, el contenido relevante. Por ejemplo, en una tienda online nos interesaría indexar páginas con contenido relevante como la home, las categorías, las fichas de producto o los posts de nuestro blog; entre las páginas no relevantes, encontraríamos los resultados de las búsquedas internas del site, la página de checkout, el resumen del carrito, la página de registro, la de login… Esencialmente páginas que no suman a la hora de dirigir tráfico orgánico de calidad a nuestra tienda online.

Tenemos que pensar en cómo nos buscará el usuario en buscadores y cómo accederá a nuestra web. Seguro que no entrará a través de la página de registro o de checkout: entrará a través de las páginas que tengan relevancia a nivel de catálogo y de negocio. Todas aquellas páginas que no cumplan un objetivo de negocio, ya sea a nivel de venta o de captación de tráfico cualitativo, deben ser cerradas a los buscadores.

A la luz de todo esto, es fácil llegar a la conclusión de que, si tienes una tienda online, es importante que sepas cómo cerrar páginas a los buscadores, o que al menos tengas una idea general de los conceptos que intervienen en ese proceso. A día de hoy, puedes encontrar cientos de posts en Internet sobre cómo cerrar esas páginas que no aportan tráfico, pero realmente sólo hay una forma 100% efectiva de hacerlo: el archivo robots.txt. 

Y es que, durante años, se han hecho bastantes experimentos sobre cómo cerrar a la indexación ciertas páginas utilizando tanto el archivo robots.txt, como la meta tag robots, como la cabecera X-Robots-Tag. Y se ha concluido que el único método 100% efectivo es el archivo robots.txt.

Las 3 directivas que acabamos de mencionar trabajan en 3 niveles diferentes:

• Robots.txt: es un archivo colocado en la raíz del servidor donde se indica qué indexar y qué no. Sirve para todo el site (menos para los subdominios).
• Meta tag robots: línea de código en archivos HTML, sólo aporta instrucciones para dicho archivo (por ejemplo, midocumento.html).
• X-Robots-Tag: similar al meta tag robots, pero indica la instrucción sobre si indexar o no la página en la cabecera HTTP (la respuesta del servidor a una petición), no dentro del código de la página.

Ya hemos concluido que la única manera efectiva de cerrar páginas a los buscadores es hacerlo desde el archivo robots.txt. Desde allí, podemos cerrar 3 tipos de niveles de archivos:

• Una o varias páginas
• Directorios
• Parámetros

En el caso de las páginas, la directiva a seguir es algo parecido a esto:

Disallow: /categoria4.html

Esta instrucción no permitiría a los buscadores –elegidos previamente a través de la directiva User-agent – indexar la página perteneciente a la categoria4.html. Aquí estaríamos cerrando a la indexación solo esa página.

El uso concreto de esta directiva consistiría en no indexar una categoría, o una ficha de producto, o una página de contenido, debido a que no nos interesa que sea visible para los buscadores, por ejemplo porque el producto ha dejado de estar en stock, porque la categoría no es relevante o porque su contenido está copiado y queremos evitar que nos penalicen.

En el caso de directorios, la directiva sería parecida a:

Disallow: /micarpeta/

Esto cerraría a la indexación del buscador cualquier archivo que esté por debajo de la carpeta /micarpeta/, con la carpeta /micarpeta/ incluida. Esta instrucción se utiliza para no indexar ciertas informaciones como, por ejemplo, la carpeta de administración de nuestro gestor (por ejemplo, /admin/) o una carpeta donde tengamos PDFs con información que no queramos compartir.

En el caso de los parámetros, la directiva sería algo como:

Disallow: /*p=

Esto cerraría a la indexación cualquier URL que contenga los parámetros incluidos, por ejemplo, micategoria.html?p=2 (una URL que puede indicar, por ejemplo, página 2).

Los parámetros se usan para modificar ciertos contenidos en página: ordenación, paginación, idioma, tipo de moneda… Y son parámetros que generan URLs duplicadas. En el caso de la paginación, si no cerramos su indexación, estamos enviando a los buscadores estas URLS:

• micategoria.html
• micategoria.html?p=2
• micategoria.html?p=3
• micategoria.html?p=4
• …

Como si tuvieran el mismo peso y contenido. A partir de la página 2, todo son duplicados de la primera y eso podría derivar en una penalización por contenido duplicado, por este motivo es importante cerrarlas.

Y estas son las 3 directivas que puedes utilizar para cerrar páginas a buscadores desde tu archivo robots.txt. Cabe decir que hay que utilizar estas directivas siempre bajo la supervisión de alguien que sepa qué se está haciendo porque podemos estar cerrando páginas esenciales a la indexación y/o perdiendo ránkings de páginas ya indexadas y posicionadas. Es por eso que cualquier movimiento que se haga en este archivo debe ser hecho por un experto en SEO y, posteriormente, testeado a través de Google Search Console con la herramienta "Rastreo > Explorar como Google" que puede encontrarse aquí.

Dicho esto, ¡el equipo de Oleoshop os desea una muy Feliz Navidad!

Imágenes | Pixabay, Fotolia.