1 votos

Googlebot no puede acceder a mi sitio webmaster tools reply Unreachable robots.txt

Cuando intento buscar mi sitio como googlebot en las herramientas para webmasters devuelve Unreachable robots.txt, después de investigar entendí que google bot puede ver mi servidor:

tcpdump | grep google

Me devuelve que google puede acceder a mi servidor con la IP aa.bb.cc.xx o aa.bb.cc.yy. pero no hay nada en access_log ni en error_log ni en otros logs de apache.

cat access_log | grep google or cat error_log | grep aa.bb.cc.xx

Otros bots (bing,...) pueden acceder a apache pero google no.

No hay ningún problema en mi robots.txt o sus permisos porque como saben robots.txt no es necesario, así que lo borro, pero de nuevo las herramientas para webmasters devuelven "Unreachable robots.txt", ¡no 404 no encontrado!

Información sobre el servidor:

  • Sistema operativo del servidor : CentOS 6
  • Servidor web : Apache 2.x
  • Firewall : IPTables está parado
  • SELinux está deshabilitado
  • No hay ningún pensamiento más para la seguridad en mi servidor.

¿Cómo puedo investigar el problema y hay algún otro comando que pueda ayudarme a encontrar el problema?

2voto

Shane Madden Puntos 81409

Has borrado el robots.txt por supuesto que es "inalcanzable" - el error 404 que Google está recibiendo en respuesta a la solicitud del mismo es porque el archivo no existe.

Si la herramienta requiere un robots.txt para existir, entonces probablemente necesites uno.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X