1 votos

Monitor 1000 + sitios web para cambios de un mes

Necesito monitorear 1000+ enlaces específicos para alrededor de un mes para ver si su contenido ha cambiado, y me pregunto si se puede automatizar esto de alguna manera. Una idea era simplemente descargar estos sitios web ahora y de nuevo en un mes, y comparar los archivos de origen. Si me voy por este camino, ¿ustedes saben de una herramienta (de la extensión del navegador?) que iba a hacer una descarga fácil? He tratado de HTTrack, pero no después de los primeros 100 enlaces o así. Alternativamente, un (gratis?) servicio web que puede controlar un conjunto de sitios web que podría funcionar tan bien. He usado https://visualping.io/ antes, pero no es realmente la intención de miles de enlaces.

1voto

RedGrittyBrick Puntos 51212

Me pregunto si se puede automatizar esto de alguna manera.

Casi no es necesario pero sí que podía escribir secuencias de comandos simples.

¿ustedes saben de una herramienta ... que iba a hacer una descarga fácil?

wget, curl, etc

Usted puede poner a 1000 direcciones Url en un archivo de texto, crear dos directorios, el cd en el primer directorio y el uso de una herramienta como por ejemplo wget con la -i opción para leer la lista de direcciones Url y traerlos. Un mes más tarde repetir esta en el directorio en segundo lugar, el uso de diff por ejemplo diff -r /directory1 /directory2 para encontrar los cambios.


Tener cuidado en el uso recursivo de las opciones, se puede saturar el servidor y banear o puede sobrecargar el equipo.

Me gustaría probar con un pequeño conjunto de direcciones Url primera (por ejemplo, 2, 10, 1000)


La opción de menor costo se puede utilizar HTTP HEAD de las solicitudes y la confianza de que el servidor sabe si el recurso ha sido cambiado.

Ver Wget HEAD solicitud?

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: