11 votos

Mejor sistema de ficheros de opciones para NFS almacenamiento de imágenes de disco de VMware

En la actualidad utilizamos una SAN iSCSI de almacenamiento para varios servidores VMware ESXi. Estoy investigando el uso de un NFS de destino en un servidor Linux para máquinas virtuales adicionales. También estoy abierto a la idea de usar un sistema operativo alternativo (como OpenSolaris) si se proporcionan ventajas significativas.

Lo que basado en Linux sistema de archivos favores muy grandes archivos contiguos (como VMware imágenes de disco)? Alternativamente, ¿cómo la gente encuentra ZFS en OpenSolaris para este tipo de carga de trabajo?

(Esta pregunta se pidió originalmente en Superusuario; siéntase libre de migrar respuestas aquí, si sabes cómo).

13voto

nikolaMM94 Puntos 38

Realmente recomiendo que eche un vistazo a ZFS, pero para obtener un rendimiento decente, usted va a necesitar para recoger un dispositivo dedicado como ZFS Intención de Registro (ZIL). Básicamente se trata de un pequeño dispositivo (un par de GB) que se puede escribir muy rápido (20-100K IOPS) que le permite ZFS confirmar inmediatamente que escribe se han sincronizado para el almacenamiento, pero hay que esperar hasta 30secs realmente cometer la escribe a los discos duros en su piscina. En caso de accidente/interrupción de cualquier transacción no confirmada en el ZIL se reproducen en el monte. Como resultado, además de un UPS es posible que desee un coche con una fuente de alimentación interna/super-condensador de manera que cualquier pendiente IOs hacen que el almacenamiento permanente en el evento de una pérdida de alimentación. Si usted opta en contra de un dedicado ZIL dispositivo, escribe puede tener una latencia alta dando lugar a todo tipo de problemas. Suponiendo que usted no está interesado en el Sol, en la 18GB escribir optimizado SSD "Logzilla" en ~$8200, algunas alternativas más baratas que existen:

  • DDRDrive X1 - 4GB DDR2 + 4GB Flash SLC en un PCIe x1 tarjeta, diseñado explícitamente para ZIL uso. Escribe ir a la RAM; en el caso de pérdida de alimentación, se sincroniza RAM NAND en <60 segundos impulsado por un supercapacitor. (50k-300k IOPS; $2000 Directa, $1500 .edu)
  • Intel X25-E 32 GB de 2,5 pulgadas SSD (SLC, pero no super pac, 3300 IOPS de escritura); [$390 @ Amazon][11]
  • OCZ Vertex 2 Pro 40 GB de 2,5 pulgadas SSD (supercap, pero MLC, 20k-50k IOPS de escritura); $435 @ Amazon.

Una vez que tienes OpenSolaris/Nexenta + ZFS de instalación hay bastantes maneras de mover bloques de entre su OpenSolaris y ESX boxeo; lo que es correcto para usted depende en gran medida de la infraestructura existente (L3 interruptores, Fibra de tarjetas) y sus prioridades (la redundancia, la latencia, la velocidad, el costo). Pero ya que usted no necesita especializados licencias para desbloquear iSCSI/FC/NFS funcionalidad puede evaluar algo que tienes de hardware y elija su favorito:

  • Objetivos iSCSI (sobrecarga de la CPU; sin DEDO del pie de apoyo en OpenSolaris)
  • De Canal de fibra de Objetivos (Fibra de Tarjetas no es barato)
  • NFS (VMWare + NFS puede ser quisquillosos, limitado a 32 monta)

Si usted no puede gastar $500 para la evaluación, la prueba con y sin ZIL discapacidad para ver si el ZIL es un cuello de botella. (Probablemente lo sea). No hagas esto en la producción. No se metan con ZFS de deduplicación todavía, a menos que usted también tiene un montón de memoria ram y un SSD de L2ARC. Es sin duda muy bien una vez que llegue a la instalación, pero definitivamente se trata de NFS de Optimización antes de jugar con dedup. Una vez que llegue a saturar un 1-2 Gb enlaces hay oportunidades de crecimiento en 8gb FC, 10gigE y infiniband, pero cada uno requiere una inversión importante, incluso para la evaluación.

2voto

Ari Puntos 156

No volvería a hacer exactamente esto. En mi experiencia, Linux (específicamente CentOS 3/4/5) es generalmente una mala elección para un servidor NFS. Yo he tenido varios y se encontró que bajo carga, la latencia y el rendimiento tienden a caer por razones que nunca podría conseguir nuestras cabezas a su alrededor.

En nuestros casos, estábamos comparando back-to-back de Linux rendimiento de Solaris (en Ultra SPARC) y NetApp, ambos de los cuales devuelven los resultados en términos de manzanas con manzanas rendimiento y nebuloso en términos de "los ingenieros no se queja casi tanto acerca de la latencia cuando el servidor estaba bajo carga". Hubo varios intentos para ajustar el servidor Linux NFS; tanto el NetApps y sistemas Solaris corrió como está fuera de la caja. Y ya que tanto el Solaris y los sistemas de NetApp involucrados eran de mayor edad, los servidores Linux podría argumentar que han tenido todas las ventajas y todavía no pudo ser convincente.

Si usted tiene el tiempo, sería una pena experimento para configurar el hardware con OpenSolaris (ahora que Solaris es, efectivamente, demasiado caro para el uso), Linux, y tal vez una variante de BSD o dos, y la carrera de ellos. Si usted puede venir para arriba con algunas de las métricas de rendimiento (e/S de disco que cuenta en una máquina virtual alojada fuera de la tienda, por ejemplo) se podría hacer una interesante white paper o artículo de internet. (Si usted tiene el tiempo.)

Con respecto a NFS en general, el NetApp gente me dijo varias veces que sus puntos de referencia mostró NFS sólo tenía un costo de 5 a 10% en el rendimiento para las máquinas virtuales, y si su aplicación fue bastante sensible que esto era un problema, no debería ser la virtualización en el primer lugar.

Pero debo confesar que después de todo ese tiempo y lágrimas, a nuestra falta de producción local de VM tiendas alimentado por iSCSI, la mayoría de NetApp.

2voto

tegbains Puntos 1634

Estamos usando OpenSolaris 2009/06 con un RAID 10 ZFS de configuración para proporcionar NFS a nuestro VMWare ESXi server. Funciona bastante bien para nuestras necesidades hasta ahora. Estamos utilizando Raid SATA tipo de unidades de Seagate ES.2 discos de 1TB). Todavía tenemos algunos ajustes para hacer sin embargo.

2voto

chamdor Puntos 46

Yo soy un gran fan de NFS almacenes de datos para VMware, NetApp tiene una aplicación excelente.

TR-3808 compara la escala de NetApp FC, iSCSI y NFS conectado compartido almacenes de datos, que es una excelente lectura.

0voto

user48838 Puntos 7140

Usted puede ser que desee considerar el 3+ años bug con ZFS de ARCO que todavía persiste, antes de saltar en demasiado profundo con ZFS...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(Esta es desagradable como también se vaya fuera de los límites de la VM límites de un hipervisor!)

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: