3 votos

Más eficaz software de backup para linux-> linux cuando se trata con un gran número de archivos

Tengo dos NASes.
Yo trabajo fuera de uno, y el otro es utilizado como una copia de seguridad. Como lo tengo configurado ahora, es lento. Ejecutar una copia de seguridad tarda una semana.
Incluso para las 7 de la TUBERCULOSIS, con 1,979,407 archivos, esto parece un poco extravagante, en particular, ya que ambos sistemas son RAID-5 y la red es de todos gigabit.

He estado indagando en el rsync páginas man, y realmente no entiendo lo que diferencia a las distintas topologías.
Ahora, todo el procesamiento se realiza sobre la copia de seguridad de NAS, que tiene el mayor volumen de los principales NAS montado localmente a través de SMB. Sospecho que el SMB sobrecarga me está matando, especialmente cuando se trabaja con muchos archivos.

Creo que lo que necesito es configurar rsync en el principal nas como un demonio, y, a continuación, ejecute un local rsync cliente para que se conecte a ella, que espero que me permite evitar completamente el conjunto de SMB-in-the-middle asunto, pero aparte de mencionar que es, me los pueden encontrar muy poca información sobre por qué uno desea usar el modo de demonio para rsync.

Aquí está mi actual rsync línea de comandos:
rsync -r -progress --delete /cifs/Thecus/ /mnt/Storage/

Cualquier entrada? Hay una manera mejor/herramienta para hacer esto?

Editar:
Ok, para abordar las preguntas adicionales:
El "Principal" NAS es un Dispositivo N7700. Tengo instalados módulos que me dan SSH, y se ha rsync, pero no en el $PATH, y yo aun no descubierto la manera de editar el local $PATHen un camino que persiste entre reinicios.
La "Copia de seguridad" NAS es un DIY asunto, construido alrededor de un 1.6 Ghz a Través de Mobo con un Adaptec RAID de Hardware de la tarjeta. Es corriendo CentOS 5 con un completo entorno de escritorio. Es el hardware estoy de ejecutar rsync. (Gigabit es a través de una tarjeta PCI).

Además De Editar: Ok, tengo rsync sobre SSH de trabajo (gracias, lajuette!).
Tuve que hacer un poco de ajuste, en mi línea de comandos, yo estoy usando rsync con la args:
rsync -rum --inplace --progress --delete --rsync-path=/opt/bin/rsync sys@10.1.1.10:/raid/data/Storage /mnt/Storage
(Nota: estoy específicamente no se utiliza-una, porque quiero cambiar la titularidad de la cuenta local, a no freak-out SELinux)

Parece estar funcionando. Voy a ver cuánto tarda.

2voto

Qué sabe usted acerca del uso de duro-enlaces a crear un espacio eficiente, de punto en el tiempo de las copias de seguridad?

He aquí un artículo sobre él. http://www.mikerubel.org/computers/rsync_snapshots/

Como usted está usando rsync usted está a mitad de camino ya, pero podría ser una adición útil a su sistema existente.

Esencialmente, usted puede almacenar muchas, muchas copias de los datos de origen. Cada uno de ellos se ve como una estructura de directorios completa, pero los archivos que no cambian entre las versiones comparten el mismo inodos en el disco(s). Aunque la solución más sencilla es utilizar rsync --link-dest parámetro, como se señaló anteriormente, la técnica también se ha aplicado en otros software de copia de seguridad, tales como:

  • backuppc :: backuppc.sourceforge.net
  • de vuelta en el tiempo :: backintime.le-web.org
  • rsnapshot :: rsnapshot.org (no He utilizado personalmente este)

1voto

Ehsan mahmood Puntos 11

Tienes razón: SMB es horriblemente lento cuando se trata de lotes de archivos.

Yo uso rsync a mí mismo para la sincronización de mi biblioteca de música.

rsync -aum --delete /my/music/library/* 192.168.1.5:/backup/of/music/library/

de que manera puedo decirle a rsync para sincronizar a través de ssh. Usted necesita un servidor ssh que se ejecutan en la máquina de destino (192.168.1.5 en mi caso) y tener rsync instalado en ambos equipos.

He aquí una explicación si las opciones:

  • -a: elemento de Lista de archivo de todos los archivos (incluyen opciones de rlptgoD)
  • -u: actualizar los ya existentes los archivos, no copiar de nuevo si ya están en su lugar
  • -m: podar vacío dirs
  • - borrar: borrar archivos de destino que fueron eliminados en la fuente

hereda a través de la flag de un:

  • -r: llame a sí misma a través de subdirectorios
  • -l: preservar los enlaces simbólicos como enlaces simbólicos
  • -p: preservar los permisos
  • -t: preservar el tiempo de modificación
  • -g: preservar grupo
  • -o: preservar propietario
  • -D: preservar dispositivo y los archivos especiales

Esto debería sincronizar su dispositivo NAS bastante rápido. Si lo intentas, por favor enviar sus resultados!

0voto

rsync ejecutando un demonio es sin garantía, por lo que es realmente sólo es útil para tiendas que desea hacer accesible públicamente. La manera de hacerlo es conseguir ssh trabajando en el NAS para que puedas rsync para nas-device:/path/to/storage directamente, entonces desde allí puede ajustar el ssh configuración para optimizar luego.

0voto

Veera Puntos 5443

¿Qué tipo de NAS:es son estos? Corres rsync en el embebido de la CPU? Tal vez es la CPU que es el cuello de botella aquí.
¿Sabes cuál es la interna del sistema de archivos en el NAS:el es? Hay millones de archivos en el mismo directorio?

Si usted tiene Gigabit de la red de NAS:es, y ambos montados en linux (con smbmount o NFS) no debe ser lenta para sincronizarlo con rsync, que creo que es la mejor opción para la sincronización de grandes cantidades de datos, como tú lo haces. Sólo tratar de averiguar dónde está el cuello de botella es el primero. Entonces será mucho más fácil encontrar una solución mejor.

0voto

Thomas Puntos 21

En caso de que usted todavía tiene problemas, o para las personas que lean esto, te recomiendo buscar en el siguiente rsync opciones (además de los mencionados, por lajuette, como el inmensamente útil -u):
-z (compress: a Menos que su red es mucho más rápido que la CPU, esto puede ahorrar tiempo, pero usted puede probar que)
--parcial-dir='.rsync-parcial " (en caso de que la conexión juego de dados y el que se acaba de transferir un 7 de gigabyte archivo de película, puede continuar donde lo dejó, en lugar de reiniciar; en mi opinión-inplace, que es incompatible con este, como demasiado peligroso)
-v (verbose mode - sólo para pruebas/solución de problemas)
--exclude-de='su-excluir de la lista de archivo (si usted tiene archivos de copia de seguridad, sistema de archivos, las imágenes en miniatura, temporales, archivos de caché, ciertos directorios, etc. usted no necesita realizar copias de seguridad, etc., la lista de ellos en el archivo de exclusión con la opción de naipes salvajes; esto puede reducir el volumen)

La opción --opción de borrar es muy peligroso y debe utilizarse con gran precaución, ya que si accidentalmente elimina uno o más archivos y antes de que te des cuenta te hago la copia de seguridad (por ejemplo, mediante un cron job), entonces su copia de seguridad se ha ido, también.

La variable PATH se debe establecer/modificar en su $HOME/.archivo de perfil, este se ejecute cada vez que inicie sesión.

Aparte de que yo segundo MattBianco la sugerencia de tratar de encontrar el cuello de botella de la primera.

Espero que esto ayude.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: