Cuando intento buscar mi sitio como googlebot en las herramientas para webmasters devuelve Unreachable robots.txt, después de investigar entendí que google bot puede ver mi servidor:
tcpdump | grep google
Me devuelve que google puede acceder a mi servidor con la IP aa.bb.cc.xx o aa.bb.cc.yy. pero no hay nada en access_log ni en error_log ni en otros logs de apache.
cat access_log | grep google or cat error_log | grep aa.bb.cc.xx
Otros bots (bing,...) pueden acceder a apache pero google no.
No hay ningún problema en mi robots.txt
o sus permisos porque como saben robots.txt
no es necesario, así que lo borro, pero de nuevo las herramientas para webmasters devuelven "Unreachable robots.txt", ¡no 404 no encontrado!
Información sobre el servidor:
- Sistema operativo del servidor : CentOS 6
- Servidor web : Apache 2.x
- Firewall : IPTables está parado
- SELinux está deshabilitado
- No hay ningún pensamiento más para la seguridad en mi servidor.
¿Cómo puedo investigar el problema y hay algún otro comando que pueda ayudarme a encontrar el problema?