Por Laia Cardona, publicado en 5 junio 2024
La etiqueta meta robots es un fragmento de código HTML que se coloca en una página web para decirle a los motores de búsqueda si deben o no indexar esa página y seguir los enlaces que hay en ella. Esta meta etiqueta permite controlar la visibilidad y el comportamiento del sitio web dentro de los resultados de búsqueda, ya que da instrucciones precisas a los motores de búsqueda sobre cómo deben tratar la página.
Importancia de la meta robots en la indexación
La meta tag robots es importante para la indexación, ya que da un control total sobre el comportamiento que van a tener los motores de búsqueda con la página. Esto significa que se tiene un control sobre la visibilidad de la página que contenga la etiqueta robots, pudiendo escoger entre si debe o no debe ser indexada. También se puede gestionar la autoridad del sitio, evitando o haciendo que los motores de búsqueda sigan ciertos enlaces.
Otro dato importante es que los motores de búsqueda tienen un presupuesto limitado para rastrear cada página web, por lo que la etiqueta meta robos puede ayudar a optimizar ese presupuesto y centrar todos sus esfuerzos en páginas que sí merece la pena indexar.
Además de todo lo mencionado, a través de la etiqueta meta robots también se pueden evitar penalizaciones por contenido duplicado.
Así que, de forma resumida, se podría decir que es una etiqueta muy útil para el SEO, ya que permite controlar la indexación y rastreo de las páginas web propias.
Cómo implementar la meta etiqueta robots
Para utilizar correctamente la meta etiqueta robots hay que tener en cuenta una serie de factores:
Dónde ubicarlas
Las etiquetas robots deben ubicarse en la sección , dentro del archivo HTML de la página web. Ubicarlo aquí es fundamental para que los motores de búsqueda puedan encontrar este dato.
Para poder ubicar la etiqueta robots es necesario abrir el archivo HTML, buscar la sección e insertar la meta etiqueta robos dentro de dicha sección. Es importante colocarla entre y .
Atributo name
El atributo name, entre la sección y , sirve para indicar qué motores de búsqueda o rastreadores deben seguir esas instrucciones. Si son todos deberá indicarse “robots”, en caso contrario deberá especificarse cuáles son. Por ejemplo, el atributo name de Google es Googlebot y el de Bing es Bingbot. Este dato deberá ponerse así .
Atributo content
Y, finalmente, deberá indicarse el atributo content, que es el tipo de acción que se le pide al motor de búsqueda. Estas son las más utilizadas:
Index: para pedirle a los motores de búsqueda que indexen la página.
Noindex: para indicarle a los motores de búsqueda que no indexen la página.
Follow: para que los motores de búsqueda sigan los enlaces de la página.
Nofollow: para que los motores de búsqueda no sigan los enlaces de la página.
Noarchive: es para impedir que los motores de búsqueda almacenen una copia en cache de la página.
Nosnippet: es para indicarle a los motores de búsqueda que no pueden mostrar un fragmento de texto en los resultados de búsqueda.
Notranslate: para los que los motores de búsqueda no puedan ofrecer una traducción de la página en los resultados de búsqueda.
unavailable_after:[fecha]: se utiliza para indicar a los motores de búsqueda que la página no puede indexarse hasta una fecha específica.
En función de las necesidades se pueden utilizar una o varias etiquetas robots.
Ejemplos ilustrativos
Para que quede más clara la explicación, estos son algunos ejemplos:
Para impedir que la página no sea indexada pero sí se sigan los enlaces:
Para indexar una página sin mostrar un fragmento de texto en los resultados de búsqueda y que sí siga los enlaces:
Para que la página no sea indexada, no se almacene en caché y no se ofrezcan traducciones:
En el caso de que las instrucciones sean para un motor de búsqueda específico, se haría de la siguiente manera:
Para que Google no indexe la página y no siga los enlaces: .
Y así se vería esta misma etiqueta robot al completo:
Diferencia entre etiqueta robots y archivo robots.txt
No hay que confundir la etiqueta robots con el archivo robots.txt. Mientras las etiquetas se encuentran dentro de la sección y dentro de un documento HTML, el archivo se ubica en la raíz del servidor web. Además, tienen funciones diferentes, ya que la meta tag robots es para darle instrucciones específicas a los motores de búsqueda sobre una página específica, el archivo robots.txt da instrucciones para todo el sitio web.
