6 votos

La transferencia de gran cantidad de archivos pequeños

Tengo que hacer una migración de dos servidores con gran SAN archivos adjuntos a nuestro nuevo entorno de VMWare.

EDIT: tengo que suministrar algunos de inteligencia adicionales como tengo buenas respuestas sobre la solución de VMWare.

Ok, así que no puedo adjuntar una anterior EMC LUN en el Nuevo sistema debido a algunas tecnologías de limitaciones en el servidor.

No puedo usar el VMWare Converter para clonar los volúmenes falta en mi nueva máquina virtual como VMWare Converter no puede ver EMC PowerPath Pseudo-dispositivos y de que la anterior administración utiliza los Pseudo-dispositivo construido LVM2 y/o ASM volúmenes en la parte superior de.

Los dos físicos de los servidores están conectados a un viejo EMC2 CX-340 SAN y manejar de 5 tb de datos.

Los 5 TB de datos son pequeñas PDF y necesito para transferirlos a la nueva máquina a través de nuestro 1Gbit/s de la LAN.

He intentado usar rsync, pero es muy lento y tiene un fuerte impacto en la memoria RAM y el rendimiento de la CPU.

He intentado el uso de NC con TAR, pero la velocidad de transferencia es bastante lento ya que tengo una media de rendimiento de alrededor de 50 MB/s en un 1Gbit/s de enlace con apenas cero tráfico.

Me podría dar algún consejo o experiencia con este tipo de migración y cómo te las arreglas para tenerlo terminado correctamente en un tiempo razonable?

10voto

Tina Puntos 21

Si usted realmente necesita una manera rápida de transferir archivos, y ambos sistemas están basados en Linux, puede intentar UDR.

Esto es realmente una forma de rsync-sobre-UDP (el uso de la abrir-fuente UDT marco) y es particularmente útil para mover grandes cantidades de archivos o se transfiere a través de banda ancha o de alta latencia enlaces. Además, el cifrado está desactivado por defecto, por lo que la RAM/CPU de aciertos es menor que los tradicionales rsync. SSH no está involucrado.

Me puede conseguir fácilmente alambre-velocidad de las transferencias de más de 1 gbps con más de 10 millones de pequeños archivos TIFF en un árbol de directorios.

Su sintaxis será ligeramente modificada de rsync. Todos rsync banderas deben aparecer antes de que el origen/destino de la especificación:

udr rsync -avP --stats --delete /data/ server2:/data/

Fácil de construir... tendrás g++ y openssl-devel:

git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/

Hacer que el origen y el destino.


Ver: Posibilidad de Optimización de la red WAN para el tráfico SSH

3voto

shodanshok Puntos 2644

Si se utiliza en modo demonio sin cifrado, rsync puede transferir gran cantidad de archivos pequeños. Darle otra oportunidad de usarlo en modo demonio.

1voto

Some French Guy Puntos 96

¿No habéis pensado en exponer el SAN Lun directamente a la nueva VMs - por lo general, funciona bien y puede ser más rápido que copiar los archivos en un VMDK - a pesar de que puede "bloquear" las máquinas virtuales en su host inicial. Pero usted podría utilizar esto para hacer las cosas, a continuación, migrar los archivos en un VMDK a su propio ritmo - con rsync - y después de cortar el enlace a la original de Lun.

1voto

GregL Puntos 1206

Si el destino de VMs aún no construido, usted podría tratar de usar la gratuita de VMware Converter para copiar los datos.

De hecho, incluso si se construyen, se podría clonar los discos a un muñeco de VM, a continuación, adjuntar a VM existentes una vez que el clon se hace.

En cualquier caso, el convertidor utiliza dos métodos para clonar archivos de origen a destino, los detalles completos de los que se puede encontrar aquí.

Si los discos de destino están configurados para ser más pequeño que el de origen, va a clonar archivos individuales en la nueva máquina virtual.

Sin embargo, si el destino de los discos de instalación a ser igual o más grande, clones de bloques. Esto podría hacer que la cantidad de archivos en el disco bastante irrelevante y debe ejecutar de forma relativamente rápida.

Dudo que podrá rellenar una tubería de 1 gbps, pero usted debe tener más de 50 mbps.

Sólo recuerde que usted todavía está buscando para pasar de 5 tb, así que va a tomar algún tiempo.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: