 robotstxt archivo de texto que instalado en el directorio raíz de un servidor web que sirve para guiar a los robots o agentes en la indexación del website indicándole que directorios puede indexar y cuales no  