14 votos

¿Que los robots y arañas debería bloquear en robots.txt?

Con el fin de:

  1. Aumentar la seguridad de mi sitio web
  2. Reducir los requerimientos de ancho de banda
  3. Prevenir la cosecha de dirección de correo electrónico

93voto

Rook Puntos 1574

No bot que es cosecha de e-mails o prueba tu sitio en busca de vulnerabilidades respetará su robots.txt. De hecho estos robots maliciosos Miren el robots.txt para asignar mejor su sitio. Si cualquier punto tiene un Disallow: se usará para atacar mejor su sitio. Un hacker que está mirando manualmente su sitio debe pasar tiempo extra examinar cualquier archivos/directorios que usted está intentando impedir.

0voto

Sam Puntos 408

robots.txt no aumentar la seguridad de su sitio web o impedir la dirección de correo electrónico de la cosecha. robots.txt es una guía para los motores de búsqueda para saltar a las secciones de su sitio web. Estos no serán indexados y debe ser utilizado para cualquiera de las secciones que no quiere aparecer en los motores de búsqueda públicos.

Sin embargo, esto de ninguna manera evitar cualquier otros robots de descargar todo el sitio para aumentar la seguridad o impedir el e-mail de la cosecha. Para aumentar la seguridad que usted necesita para añadir autenticación y sólo permiten a los usuarios autenticados más allá de la seguridad de las secciones. Para evitar que la dirección de correo electrónico de la cosecha no poner mensajes de correo electrónico en texto sin formato (o fácilmente descifrable de texto) en un sitio web.

0voto

derekerdmann Puntos 101

El archivo robots.txt sólo sirve como una petición los robots y arañas dejan ciertos pedazos de contenido sola; en realidad no puede prevenir su acceso. Los bots "buenos" a respetar, pero los "malos" los (probablemente los que desea bloquear) ignorará y proceder de todos modos.

-1voto

Andy May Puntos 1992

En lugar de robots.txt, tal vez necesitas usar códigos CAPTCHA.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X