¿Qué es el Archivo Robots.txt? - Glosario de DreamHost

Un archivo robot.txt proporciona instrucciones a los robots de rastreo web sobre cómo rastrear un sitio. Esto se puede usar para evitar que ciertas partes de tu sitio sean indexadas.