Por Oier Gil, publicado en 18 junio 2024
Googlebot es el rastreador web que utiliza Google para poder descubrir, clasificar e indexar contenido web, haciendo posible que aparezca en la SERP del mismo buscador. O, dicho de otra manera, Googlebot o un bot de Google es un programa que se encarga, de forma automatizada, de rastrear y analizar las páginas web con el objetivo de indexarlas y ofrecerlas en los resultados de búsqueda de Google.
Tipos de Googlebot
Existen tantos tipos de bots de Google como tipos de página web o contenido, aunque estos son los principales:
Googlebot Desktop: es un rastreador web de Google que simula la navegación desde un ordenador, por lo que su función es rastrear e indexar páginas web diseñadas para este tipo de dispositivos y ofrecerlas como resultado de búsqueda cuando la navegación sea desde ordenadores.
Google Smartphone: en este caso el rastreador de Google simula ser un usuario móvil, por lo que rastrea e indexa páginas web diseñadas para este tipo de dispositivos.
Googlebot Image: se dedica a rastrear e indexar imágenes de sitios web.
Googlebot Video: se encarga de rastrear e indexar contenido en formato vídeo.
Googlebot News: es un bot de Google que rastrea e indexa artículos y contenidos provenientes de sitios web de noticias.
Google Storebot: se dedica a rastrear e indexar sitios web en los que se incluyen datos sobre productos, así como también ecommerce.
Cuáles son sus funciones
Googlebot tiene varias funciones clave, siendo el rastreo y la indexación las más conocidas. Con rastreo se entiende la acción de descubrir tanto nuevas páginas web como modificaciones o actualizaciones de las ya existentes. Con indexación, por su parte, se hace referencia a analizar el contenido para añadirlo al índice de Google y poder ofrecerlo como resultado de búsqueda.
El bot de Google, sin embargo, también se encarga de evaluar el contenido, de ahí que sea tan importante crear contenido de calidad, ya que esta evaluación afecta directamente al posicionamiento que le dará dentro de la SERP. Googlebot también se encarga de monitorear y registrar cambios en las páginas web y de verificar que los sites sean compatibles con el dispositivo desde el que se realice la búsqueda.
Cuándo y cómo impedir el rastreo de un robot
El propietario de una página web puede controlar a Googlebot y escoger qué puede rastrear e indexar. Para controlar el rastreo se puede acceder al archivo Robots.txt y utilizar la etiqueta nofollow o utilizar Google Search Console para escoger la periodicidad de rastreo de Google. En cuanto a la indexación, si se quiere evitar que Google indexe una página bastaría con eliminarla o borrar su contenido, restringir su acceso mediante contraseña o utilizar la etiqueta noindex.
Este tipo de decisión puede tomarse cuando el contenido es privado o contiene información sensible, cuando el sitio web está en desarrollo o contiene páginas con contenido de baja calidad o duplicado, cuando son recursos que no necesitan ser indexados o es contenido no relevante o para evitar la sobrecarga del servidor.
