4 votos

ZFS en único disco virtual

  • Cómo hacer a las empresas a gestionar grandes servidores de archivos (por ejemplo, 17 TB) y de sus correspondientes copias de seguridad en un muy apretado presupuesto?
  • Es aceptar el uso de ZFS (o BTRFS) en un solo disco virtual para su copia en escritura de la naturaleza para eliminar la necesidad de fsck? (es decir, no para su RAID, instantánea, etc. características)

Situación específica:

Necesitamos retirar una antigua problemática del sistema de almacenamiento que se sirve de almacenamiento NFS virtuals y sigue siendo nuestra principal del servidor de archivos. Ahora tengo un nuevo 40TB iSCSI FreeNAS basado en sistema de almacenamiento y ya han vMotion ed todos virtuals de almacenamiento anterior a la nueva, pero el 17 de TB de SMB/CIFS & AFP compartido de archivos.

Copias de seguridad se realizan a través de rsync que lleva mucho tiempo para escanear 17 de la TB, así que la hemos dividido en dos volúmenes:

  • 13 de la TB en un solo lectura "archivo" de volumen para los archivos que no han sido modificado por un año. Para la copia de seguridad nos limitamos a hacer el sitio y fuera de copias usando rsync - no hay necesidad de diario de versiones de copia de seguridad.
  • 4 TB vivo almacenamiento de escritura. Esta es la copia de seguridad diaria con rsync y utiliza duro-enlaces a crear "instantáneas" / versiones de el estado de la servidor de archivos en ese día en particular, de manera que podamos recuperar los archivos sobrescritos.

El personal de TI de mover los archivos desde el archivo de vivir cuando se requieren modificaciones, pero estas peticiones son ahora múltiples veces al día y ya no es aceptable.

Plan Original:

  • Crear un virtual Linux del servidor de archivos.
  • Crear 2x discos virtuales en nuestra nueva 40TB sistema de almacenamiento. (13 TB archivo + 4 TB de escritura en vivo)
  • Formato de anteriores discos con sistemas de archivos ext4
  • El uso de UnionFS de vaca, opción de montaje para presentar una sola vista unificada de los anteriores sistemas de archivos para los usuarios, con todas las escrituras de ir a la 4TB de escritura del sistema.

Problemas con el plan original:

  • Estamos superando el archivo basado en la naturaleza de rsync como una herramienta de copia de seguridad, por ejemplo, cambiar el nombre de un 1 TB de nivel superior de la carpeta de resultados en una nueva copia de la totalidad de 1TB carpeta. Esto sería sólo añadir un par de KB a un bloque basado en la copia de seguridad.
  • La aplicación de UnionFS sólo añade otra capa de complejidad a todo el sistema, lo que realmente me gustaría evitar.
  • Debido a rsync tener que volver a escanear todo el archivo server para comparar los cambios de los archivos, se necesita un tiempo muy largo para completar las copias de seguridad, incluso si sólo un par de archivos que se han modificado.
  • Esto nos obliga a hacer continuo el archivado a mantener la escritura de volumen lo suficientemente pequeño como para las copias de seguridad para completar la noche.

Plan alternativo 1: Un gran volumen y las instantáneas de ZFS para copias de seguridad

  • Crear planeado Linux servidor de archivos de arriba, pero con un gran volumen, en lugar de dos, eliminando la necesidad de UnionFS
  • Para copia de seguridad de este servidor muy grande, que sería demasiado largo con rsync, el uso de instantáneas de ZFS lugar y el uso de "zfs send" para replicar fuera de la oficina.

Problema con el plan alternativo 1:

  • fsck en un 17 TB sistema de archivos ext4 tomaría días! Imagina un lunes por la mañana-un incidente que requiere un reinicio forzoso y fsck en el arranque, o peor, una corrupción del sistema de archivos!

Plan alternativo 2: ZFS/BTRFS sistema de archivos en un servidor Linux

  • Según el plan alternativo 1, pero el uso de un copy-on-write sistema de archivos, tales como ZFS o BTRFS en lugar de ext4, ya que estos no requieren de fsck.

Preguntas/preocupaciones para el plan alternativo 2:

  • Ambos ZFS y BTRFS quieren acceso directo a los discos raw para implementar sus propios RAID y por lo tanto no se utiliza normalmente en los discos virtuales. ¿Qué tan bien este trabajo en un solo disco virtual?

Plan alternativo 3: FreeNAS como servidor de archivos directamente

  • En lugar de tener un virtual del servidor de archivos, compartir archivos de FreeNAS directamente

Problema con el plan alternativo 3:

  • Necesitamos instalar varios paquetes personalizados y perl/bash/secuencias de comandos de python para integrar este servidor de archivos con nuestro sistema de seguimiento de trabajos. Esto va a estar bien en la recta de Linux, pero no creo que sea una buena idea en un pre-envasados basado en FreeBSD sistema de almacenamiento de ZFS (FreeNAS). Las actualizaciones pueden sobrescribir los cambios, etc.

Preguntas:

  • Es una alternativa de plan de 2 de ZFS en un solo disco virtual - una buena idea? Si no, ¿por qué?
  • Puede alguien sugerir mejores opciones?

3voto

user121391 Puntos 44

Cómo hacer a las empresas a gestionar grandes servidores de archivos (por ejemplo, 17 TB) y de sus correspondientes copias de seguridad en un muy apretado presupuesto?

De ello depende el rendimiento y las limitaciones presupuestarias. Por ejemplo, Backblaze (una nube de copia de seguridad de la empresa) tiene un presupuesto muy ajustado para cada TB, pero no necesitan el máximo rendimiento o el tiempo de respuesta para los datos. Alguna otra empresa podría necesitar hoteles de rendimiento, pero encuentra una manera de reducir los datos necesarios (con la deduplicación, la poda de los viejos datos de copia de seguridad o simplemente por la reducción de los datos reales que puede no ser necesario para el negocio).

Es aceptar el uso de ZFS (o BTRFS) en un solo disco virtual para su copia en escritura de la naturaleza para eliminar la necesidad de fsck? (es decir, no para su RAID, instantánea, etc. características)

No me gustaría usar BTRFS en nada que no de desarrollo, donde usted necesita confiar en la seguridad de sus datos como primer principio. Me gustaría utilizar ZFS, porque no he encontrado una forma más barata y más segura alternativa (otro FS con características similares a las de IBM, NetApp, etc. son más caros, libre de los sistemas de ficheros son o no tienen la madurez suficiente (HAMMER2, BTRFS) o la falta de características esenciales (ext2/3/4, reiserfs, etc.).


Sus respuestas específicas: yo preferiría plan de 3, pero el plan 2 también funcionaría.

Contrario a mucho FUD flotando alrededor de la web, de ZFS no se preocupan por el almacenamiento subyacente, ya sea física, virtual o mixta. Por supuesto, sólo puede ser tan bueno/rápido/seguro como el almacenamiento subyacente y sólo puede razonar acerca de lo que es dado. Esto significa, su rendimiento no será tan buena como la de los nativos, la solución de problemas consiste en dos capas y dos capas pueden tener problemas. Si sabes esto y disposición de estos inconvenientes, yo lo veo como una alternativa viable.

Usted todavía tiene características de confort como send/recv, las instantáneas, la Vaca, las sumas de comprobación y de nivel de bloque de deduplicación. Lo que el sacrificio es en su mayoría de rendimiento y posiblemente de seguridad (si el SAN es de tan solo un disco, por ejemplo). También debe ajustar su ZFS tamaños de sector (ashift) para su almacenamiento subyacente a la hora de crear la piscina. Usted puede tener diferentes tamaños individuales de los sistemas de archivos después, pero la piscina de configuración no se puede invertir sin destruirlo.

Pero me gustaría, en primer lugar evaluar si la reescritura de los guiones y las integraciones es como que consumen tiempo como usted se imagina. También, incluso, electrodomésticos, como FreeNAS (o napp -, a nombre de una alternativa) tienen por lo general el usuario scripts o definidos por el usuario plugins o módulos que sobrevivir actualizaciones y trabajar bien con el aparato (el nuevo FreeNAS 10 también conocido como Corral de la sustitución de su arquitectura de plugin con ventana acoplable, si que es algo que usted está familiarizado con la que podría ser una alternativa).

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: