¿Qué es el Googlebot? - Glosario de DreamHost

Googlebot es un término general que se refiere a dos tipos de rastreadores (de escritorio y móviles). Tanto el Googlebot Desktop como el Googlebot Smartphone se adhieren a un token de agente de usuario en robot.txt. Esto significa que es imposible apuntar específicamente a uno y no al otro.

El Googlebot visita sitios web y lee su contenido para agregarlos al índice de búsqueda de Google. Este índice es lo que impulsa los resultados de búsqueda de Google. Por lo tanto, es importante que los propietarios de sitios web aseguren de que el Googlebot pueda encontrarlos y leerlos.

Hay varias formas de hacer esto, pero una de las más importantes es usar los mapas de sitio. Los mapas de sitio son archivos que contienen una lista de todas las páginas de un sitio web y ayudan al Googlebot a encontrar y rastrear el sitio más fácilmente.