¿Qué es el Archivo Robots.txt? - Glosario de DreamHost
Un archivo robot.txt proporciona instrucciones a los robots de rastreo web sobre cómo rastrear un sitio. Esto se puede usar para evitar que ciertas partes de tu sitio sean indexadas.
Más Sobre los Archivos Robot.txt
Los archivos robot.txt no son estrictamente necesarios. Sin ellos, los robots rastrearán el sitio según su guía predeterminada. Sin embargo, la mayoría de los sitios pueden beneficiarse de incluir un archivo robot.txt para ayudar a guiar a los rastreadores.
Se puede usar un archivo robot.txt para alentar o disuadir el rastreo de ciertas páginas. Por ejemplo, si un sitio web tiene un área privada, no querrá que esta página aparezca en los resultados de búsqueda. Los archivos Robot.txt también se pueden usar para garantizar que ciertas páginas se rastreen o para ocultar páginas mal optimizadas para que no aparezcan en los resultados.
