Tenemos un archivo robots.txt personalizado en root de nuestro sitio web Azure del servicio en la nube IIS que no se muestra correctamente cuando se navega a www.oursite.com/robots.txt . Se muestra un archivo robots.txt "diferente" que contiene:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Lo hemos intentado:
1. Eliminar el archivo robots.txt en root - el archivo robots.txt incorrecto sigue apareciendo.
2. Añada una regla de reescritura de url a web.config para mostrar el robots.txt personalizado - el robots.txt correcto se mostrará durante algún tiempo, y luego volverá a ser diferente
¿Alguna idea de lo que está pisando nuestro robots.txt personalizado?