8 votos

A nivel de bloque de desduplicación sistema de ficheros

Estoy buscando un desduplicación de copia en escritura de ficheros solución general de los datos de usuario como /home y copias de seguridad. Se debe utilizar en línea/en línea/sincrónico de la deduplicación a nivel de bloque usando secure hash (por insignificante probabilidad de colisiones) como SHA256 o la cefalea tensional. Duplicar bloques de la necesidad de no tocar el disco.

La idea es que yo debería ser capaz de simplemente copiar /home/<user> a un disco duro externo con el mismo sistema de ficheros para hacer una copia de seguridad. Simple. No vas a jugar con copias de seguridad incrementales, donde la corrupción a cualquiera de las instantáneas casi siempre se rompen todas las instantáneas más tarde, y no hay necesidad de utilizar una herramienta específica para eliminar o 'caja' de una instantánea. Todo debe ser hecho simplemente desde el navegador de archivos sin preocupaciones. Puede usted imaginar lo fácil que sería? Nunca iba a tener que pensar dos veces acerca de la copia de seguridad de nuevo!

No me importa un impacto en el rendimiento, la fiabilidad es la preocupación principal. Aunque, con implementaciones específicas de cp, mv y scp, y un archivo de plugin para el navegador, estas operaciones sería muy rápido, especialmente cuando hay una gran cantidad de duplicación ya que sólo se necesita para la transferencia de la ausencia de los bloques. Accidentalmente el uso de convencionales, herramientas de copia que no se integran con el FS simplemente tomar más tiempo, desperdicio de ancho de banda cuando se copia de forma remota y a los residuos de algunos de CPU, como el duplicado de los datos se re-leer, re-transfiere y re-hash (a pesar de que nada iba a ser re-escrita), pero absolutamente no corruptos nada. (Algunos de intercambio de archivos de software también puede ser capaz de beneficiarse mediante la integración con el FS.)

Así que ¿cuál es la mejor manera de hacer esto?

He mirado en algunas de las opciones:

  • lessfs - Ve sin mantenimiento. Bueno?
  • Opendedup/SDFS - Java? Puedo usar esto en Android?! ¿Qué SDFS ?
  • Btrfs - Algunos de los parches flotando en archivos de listas de correo, pero no hay un apoyo real.
  • ZFS - Esperemos que un día cambiar en virtud de un verdadero Libre/de código Abierto compatible con la GPL licencia.

También, hace 2 años tuve un ir en un intento en Python usando el Fusible en el nivel de archivo para ser usado a través de la parte superior de un sólido típica FS tales como EXT4, pero me he encontrado con Fusible para Python underdocumented y no logran implementar todas las llamadas al sistema.

1voto

VarnerBeast14 Puntos 382

Esto suena muy enterprise (como en el más caro).

datadomain ofrece deduplicación de datos, y tal vez de netapp con sus wafl sistema de ficheros. Pero a un alto costo.

Un "libre" alternativa podría ser la de zfs.

Según yo, a pesar de que la "mejor" y más Linuxy alternativa, aunque en un nivel de archivo en lugar de "a nivel de bloque", sería rsnapshot. Utiliza rsync y enlaces permanentes para administrar el control de versiones.

Prefiero confiar en la vieja herramientas probadas que el uso de un nuevo sistemas de ficheros como Btrfs que no ha existido el tiempo suficiente para que la gente descubra toda clase de insectos desagradables.

1voto

Dan Hutter Puntos 11

Estoy buscando y investigando exactamente el mismo, yo podría sugget https://attic-backup.org/quickstart.html#automating-backups por ahora, parece ser tranquila, sencilla y buena para las copias de seguridad de linux.

También hay bacula con esta característica, pero ático parece ser lo suficientemente bueno para la mayoría de los casos.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: