86 votos

Cómo hacer copia de seguridad de 20 TB de datos?

Tenemos un servidor NAS en la empresa para la que trabajo que se utiliza para almacenar sesiones fotográficas. Cada sesión es de aproximadamente 100 gb. Durante el último par de años, este servidor ha acumulado 10+ TB de datos, y estamos aumentando la cantidad de fotografías de manera exponencial. Estimo que para el final del próximo año vamos a tener 20+ TB almacenados en este dispositivo NAS. Actualmente estamos copia de este servidor hasta el uso de cinta LTO-5 cintas con Symantec BackupExec. Ya que el tamaño de este servidor ha crecido, copias de seguridad completas de este servidor no completar la noche. ¿Alguien tiene alguna sugerencia sobre cómo copia de seguridad de esta cantidad de datos? Debemos ser copias de seguridad en cinta? Hay otras opciones que pueden ser mejor?

114voto

Ward Puntos 8076

Usted necesita tomar un paso atrás y dejar de pensar en "tengo 20 TB en mi NAS necesito una copia de seguridad!" y desarrollar una estrategia de almacenamiento que tiene en cuenta la naturaleza de los datos:

  • Dónde se viene y cuánto nuevos datos están recibiendo? (tienes esto en tu pregunta)
  • Cómo es que los datos utilizados una vez que usted tiene? Son gente de edición de imágenes? ¿Tienes los originales y generar versiones editadas?
  • ¿Cuánto tiempo necesita para mantener todos los datos? La gente sigue haciendo cambios a las fotos de hace 2 años?

Dependiendo de las respuestas a las dos últimas preguntas, es probable que necesite más de un Sistema de Archivado de un mundo radicalmente diferente sistema de copia de seguridad.

De datos que es estática (por ejemplo, 2 años de edad de las fotografías que se conservan de "por si acaso") no es necesario hacer una copia de seguridad cada noche, o incluso cada semana, tiene que ser archivados. Lo que realmente podría ser más complejo, pero conceptualmente, todas las fotos puede ser escrito a las cintas (varias copias!) y no se copia más.

Basado en sus comentarios, algunos pensamientos adicionales:

  • Puesto que usted guarde los originales de cada disparar sin tocar y trabajar en una copia, y suponiendo que al menos algunas de las imágenes originales son trapos, usted podría ser capaz de reducir la cantidad de datos que debe ser respaldada por la mitad.

  • Si usted todavía no puede terminar una copia de seguridad completa dentro de la ventana de tiempo que usted tiene, una forma común para acelerar las cosas es hacer un disco-a-disco de copia de seguridad primero y luego copiar el conjunto de copia de seguridad a las cintas.

12voto

jet Puntos 415

Usted tiene dos opciones:

Opción 1:

  1. Comprar otro NAS
  2. Dar a sus usuarios RO acceso a la new_NAS
  3. Mover todos los archivos mayores de 2 años a new_NAS
  4. Mantener copias de seguridad de old_NAS como de costumbre
  5. Cada 6 meses mover archivos mayores de 2 años a new_NAS

Opción 2:

  1. Comprar otro NAS
  2. Ejecutar rsync cada hora: old_NAS -> new_NAS

    o, mejor usar algo como rdiff-backup que hace rsync + mantiene deltas con los cambios en el archivo (puede restaurar versiones anteriores de los archivos)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. Cada 6 meses limpio viejos archivos ejecutando algo como:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

2voto

Johnny Puntos 221

¿Por qué hacer las copias de seguridad para completar la noche a la mañana? Fileserver rendimiento? Usted podría ser capaz de limitar el ancho de banda de su software de copia de seguridad para limitar el impacto durante el día. O dedicar una interfaz de su dispositivo NAS para hablar con la unidad de cinta para limitar el impacto en el tráfico.

Puede ejecutar volcados de lleno los fines de semana y sólo incrementales durante la semana? Si el problema es el cambio de cintas en el fin de semana cuando no hay nadie alrededor, un hoteles de la biblioteca de cintas/autochanger cuesta mucho menos que pagar a alguien para cambiar las cintas.

Se puede segmentar los datos en varios grupos que son lo suficientemente pequeños para completar dentro de su ventana de copia de seguridad?

Tenemos acerca de 50TB de los datos en nuestro NAS y se tarda más de una semana para obtener un volcado completo de la totalidad de la cosa el uso de 2 unidades de cinta (un volumen lleva casi una semana sí mismo, ya que contiene muchos ficheros pequeños). Lo que hacemos es reproducir nuestros datos a un segundo NAS. Nuestro secundaria NAS está en el sitio (pero en un centro de datos diferente de la primaria), por lo que todavía datos de la cola a las cintas de respaldo fuera del sitio. Podemos realizar copias de seguridad de secundaria NAS para las copias de seguridad no lento a nadie.

Si usted puede colocate tu secundaria NAS a una distancia suficiente, entonces puede ser la copia de seguridad, no se las cintas necesarias.

1voto

woliveirajr Puntos 156

Sólo estoy en duda sobre el tamaño de cada sesión de rodaje, es realmente 100gb / sesión? ¿Cuántas sesiones hace su empresa cada mes?

Ya que usted es la mayoría de almacenar las sesiones antiguas que no se utilice con frecuencia, etc, y probablemente no sea necesario para la recuperación de la información que, con frecuencia, me permito sugerir que usted utilice los servicios de una empresa para hacerse cargo de esa tarea para usted.

Así por ejemplo, el almacenamiento de los 20 TB mediante un servicio en línea como Amazon Glacier costaría un poco más de $200/mes. Si usted necesita para recuperar los archivos con frecuencia, o incluso recuperar, a continuación, en su totalidad, se metía en algún tiempo / costo de restricción. Si usted acaba de guardar esas cosas "para asegurarse de que están almacenados", tal vez el uso de una tercera parte podría hacer su vida más fácil (y más barato que comprar otro NAS, cintas, etc)

1voto

Tedd Hansen Puntos 359

full backups of this server are not completing overnight
A continuación, trate de copias de seguridad incrementales? Una copia de seguridad completa cada xx días, incremental el resto.

Los discos duros son de bajo costo, más rápido que el de las cintas y se puede utilizar para copia de seguridad.

También existen buenas alternativas en la nube para copias de seguridad ahora, así que no es necesario para seguir añadiendo más y más rápido cintas.
Por ejemplo:

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: