El documento robots.txt es el recurso esencial para cualquier sitio web que pretende aparecer bien indexada por los buscadores como Bing. Sirve como un mapa para los crawlers , indicándoles qué páginas de tu plataforma pueden están rastreadas y cuáles se deben excluir . La óptima configuración de