¿Qué es una Araña? - Glosario de DreamHost
Una araña es otro nombre para un robot de rastreo utilizado por los motores de búsqueda para analizar y clasificar las páginas web. El término araña a menudo se refiere a los bots más complejos. Los desarrolladores web pueden usar las arañas para auditar el SEO de una página o un sitio.
Más Sobre las Arañas
Las arañas, también conocidas como bots o rastreadores, exploran el Internet sistemáticamente para indexar las páginas web. Los resultados de su búsqueda resultan en los bases de datos que son usados por los motores de búsqueda para sugerir contenido basado en las consultas de los usuarios.
La función básica de una araña es ubicar las páginas web, escanearlas en busca de información relevante y palabras clave, indexar esa información en una base de datos y mostrarla cuando un usuario haga una consulta relevante.
Puedes ayudar a guiar a las arañas en tu sitio web utilizando un archivo robot.txt, enviando un mapa de sitio o desactivando el rastreo en las páginas que no deseas indexar. Ya que tienen recursos computacionales limitados, las arañas no rastrean constantemente los sitios. En líneas generales, una araña puede acceder a un sitio aproximadamente una vez cada tres o cuatro semanas.
