El archivo robots.txt es el elemento clave para cualquier sitio que desea ser bien posicionada por los buscadores como Bing. Funciona como el mapa para los bots, indicándoles qué áreas de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html