80 votos

Transferencia de 15TB de archivos muy pequeños

Estoy de archivado de datos de un servidor a otro. Al principio comencé un rsync de trabajo. Tomó 2 semanas para que se genere el archivo de lista de 5 TB de datos y otra semana para la transferencia de 1 tb de datos.

Entonces yo tenía que matar al trabajo como necesitamos un poco de tiempo de inactividad en el servidor nuevo.

Se ha acordado que vamos a tar arriba ya que probablemente no necesitará acceder a él de nuevo. Yo estaba pensando de que se rompa en el de 500 gb trozos. Después de la I tar que luego me iba a copiar todo a través de ssh. Yo estaba usando tar y pigz pero todavía es demasiado lento.

Hay una manera mejor de hacerlo? Yo creo que ambos servidor está en redhat. Servidor antiguo es ext4 y el nuevo es xfs.

edit: por el pequeño. Va de unos 100 kb a 5mb.

65voto

h0tw1r3 Puntos 1225

He tenido muy buenos resultados con tar, pigz (paralelo gzip) y nc.

Fuente de la máquina:

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

Destino de la máquina:

Extraer:

nc <source machine ip> 9876 | pigz -d | tar -xf - -C /put/stuff/here

Mantener el archivo:

nc <source machine ip> 9876 > smallstuff.tar.gz

Si quieres ver la velocidad de transferencia solo tubo a través de pv después pigz -d!

15voto

Arthur Kay Puntos 11

Configurar una VPN (si su internet), crear una unidad virtual de algún formato en el servidor remoto (es decir, ext4), montarlo en el servidor remoto y, a continuación, montarlo en el servidor local (con un nivel de bloque protocolo iSCSI), y el uso dd u otro nivel de bloque herramienta para hacer la transferencia. A continuación, puede copiar los archivos de la unidad virtual a la real (XFS) de la unidad en su propia conveniencia.

Dos razones:
1| No sistema de archivos de la sobrecarga, que es el principal culpable de rendimiento
2| No buscando, usted está buscando en lectura/escritura secuencial de ambos lados

3voto

JamesRyan Puntos 6644

Uso mbuffer y si es en una red segura que usted puede evitar el paso del cifrado.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: