9 votos

ZFS raya en la parte superior de hardware RAID 6. ¿Qué podría salir mal?

Tengo 36*4TB HDD SAN Rack. Controlador RAID no apoyo RAID60 y no más de 16 discos Duros en un grupo RAID. Así que he decidido hacer 2 RAID6 grupos de 16HDD o 4 de 8 discos Duros. Quiero llegar a todos de almacenamiento como una partición.

Así que, ¿qué podría salir mal si voy a utilizar zfs piscina en la parte superior de hardware RAID 6? Sí, sé que es muy recomendable para utilizar los discos Duros o el modo pass-through. Pero yo no tengo esta opción.

O debo permanecer lejos de ZFS y software incursiones en esta situación? (Estoy principalmente interesado en la compresión e instantáneas)

5voto

Andrew Henle Puntos412

Así que he decidido hacer 2 RAID6 grupos de 16HDD o 4 de 8 discos Duros.

Esa no es la mejor manera de hacer las cosas. Puede funcionar bastante bien, pero dependiendo de sus requisitos de rendimiento, puede que no.

El tamaño ideal para un raid 5/6 matriz será tal que un múltiplo exacto de la cantidad de datos que se "extiende" la matriz coincide con el tamaño de bloque del sistema de archivos integrado en la parte superior de la misma.

RAID 5/6 matrices de trabajo como los dispositivos de bloque - un solo bloque de datos abarca los discos de la matriz, y que el bloque también contiene los datos de paridad. La mayoría de los controladores RAID va a escribir una potencia de dos tamaño de la porción de datos de cada disco en la matriz el valor exacto de lo que es configurable en el mejor de los sistemas RAID - y su Punto de la Colina de la unidad es uno de los "mejores sistemas RAID". Eso es lo importante.

Por lo que se necesita N x (cantidad de datos almacenados por el pedazo de disco ) para abarcar la matriz, donde N es el número de discos de datos. 5-disco raid 5 matriz tiene 4 "datos" discos, y un 10-unidad RAID 6 matriz tiene 8 discos de datos.

Porque cuando se escriben datos en un raid 5/6 matriz, si el bloque de datos es tal que no es lo suficientemente grande como para abarcar toda la gama, la paridad se calcula para que los datos - por lo general en la memoria del controlador - a continuación, toda la franja está escrito en el disco. Simple y rápido.

Pero si la cantidad de datos a ser escrito, no es lo suficientemente grande como para abarcar toda la gama, lo que hace el controlador RAID tiene que hacer en el fin de calcular la nueva paridad de datos? Pensar en ello, las necesidades de todos los datos de la totalidad de la raya para volver a calcular la nueva paridad de los datos.

Así que si usted hace 16-unidad RAID 6 matriz con el valor predeterminado por disco pedazo de 512 kb, que significa que se necesita 7 MB "span" de la matriz.

ZFS trabaja en bloques de 128 kb, en general.

Así ZFS escribe un 128kB de bloque - a 16-unidad RAID 6 matriz. En la configuración que estamos proponiendo, que significa que el controlador RAID necesita leer casi 7 MB de la matriz y se vuelve a calcular la paridad a lo largo de los 7 MB. Vuelva a escribir para que todo el conjunto de 7 MB en un disco.

Si tienes suerte, todo está en la caché y no se hace un enorme impacto en el rendimiento. (Esta es una razón importante por la opción "no usar RAID 5/6" posición tiene un siguiente - RAID1[0] no sufren de esto.)

Si tiene la mala suerte de no alinear correctamente el sistema de archivos de las particiones, que 128kB bloque abarca dos RAID rayas que no están en caché, y el controlador necesita leer 14 MB, se vuelve a calcular la paridad, luego de escritura de 14 MB. Todos a escribir una 128kB bloque.

Ahora, eso es lo que debe suceder de forma lógica. Hay un montón de optimizaciones que buena controladores RAID puede tomar para reducir el IO y la carga computacional de tales IO patrones, por lo que podría no ser tan malo.

Pero bajo la pesada carga de la escritura de bloques de 128 kb a lugares al azar, hay una muy buena probabilidad de que el rendimiento de un 16-unidad RAID 6 matriz con un 7 MB tamaño de las bandas será absolutamente terrible.

Para ZFS, el "ideal" subyacente RAID5/6 Lun para propósito general sistema de archivos donde la mayoría de los accesos son efectivamente al azar tendría un tamaño de banda que una divisor de 128kB, tales como 32 kb 64 kb, o 128kB. En este caso, que limita el número de discos de datos en un raid 5/6 matriz a 1 (que es absurdo - incluso si es posible, configurar, es mejor utilizar RAID1[0]), 2, 4, u 8. El mejor rendimiento en el mejor de los casos sería el uso de un 128 kb tamaño de banda para el RAID 5/6 matrices, pero el mejor de los casos no sucede a menudo en el propósito general de los sistemas de archivo - a menudo debido a que los sistemas de archivos no almacenar los metadatos de la misma forma en que el archivo de almacén de datos.

Me gustaría recomendar la configuración de cualquiera de las 5-disco matrices raid 5 o de 10 en disco RAID 6 matrices, con el per-disco pedazo de establecer un tamaño lo suficientemente pequeño para que la cantidad de datos que abarcan toda una gama de bandas es de 64 kb (sí, he hecho esto antes para ZFS - muchas veces). Esto significa que por una matriz RAID con 4 discos de datos, la per-disco tamaño de porción debe ser 16kB, mientras que un niño de 8 datos de disco RAID array, el per-disco tamaño de porción debe ser de 8kB.

A continuación, permitir ZFS de utilizar la totalidad de la matriz - ¿ no la partición. ZFS se alineen correctamente a toda una unidad, si la unidad es una simple de un disco o de una matriz RAID presentados por una controladora RAID.

En este caso, y sin conocer su exacta de espacio y los requisitos de rendimiento, me gustaría recomendar el establecimiento de tres 10-unidad RAID 6 matriz o seis 5-unidad RAID 5 matrices con 64 kb de tamaño de las bandas, configurar un par de repuestos activos, y salvar a cuatro de sus discos para lo que venga en el futuro. Porque algo será.

Yo sin duda, no utilice el disco de sistema en modo JBOD - es totalmente NEBS Nivel 3 compatibles con el dispositivo que proporciona una significativa la fiabilidad y disponibilidad de las protecciones integradas en el hardware. No tirar eso sólo porque "ZFS!!!!". Si es una pieza barata de los productos de hardware de poner juntos a partir de piezas? Sí, el modo JBOD con ZFS de manejo de la RAID es el mejor pero NO el hardware que tiene. El USO de las características de hardware que proporciona.

4voto

Tina Puntos21

Bueno, voy a morder...

Este es el mal de hardware para la aplicación. El DotHill instalación tiene las mismas limitaciones que un HP StorageWorks MSA2000/P2000 en que sólo el 16 unidades puede ser utilizado en una sola matriz de la agrupación.

ZFS encima de RAID de hardware o exportados SAN LUN no es necesariamente un problema.

Sin embargo, la creación de bandas de ZFS Lun más desconocida de las interconexiones, a través de chasis de expansión puede presentar algunos riesgos.

  • Por ejemplo, está en ejecución multipath SAS en una topología de anillo con doble controladores?
  • ¿Tienes redundante cableado de vuelta al servidor?
  • Ha distribuido unidades verticalmente a través de los cerramientos de una manera que pudiera mitigar el fallo de un solo chasis/cable/controlador y evitar que la destrucción de una parte de su RAID0 de la raya?

En serio, puede ser vale la pena evaluar si usted necesita todos los de este almacenamiento en un único espacio de nombres...

Si requieren ese tipo de capacidad en un solo montaje, se debe utilizar un dedicado HBA-adjunta JBOD recinto y posiblemente varias unidades de la cabeza con resistente de cableado y un inteligente diseño.

2voto

Chen Kinnrot Puntos6207

Usted debe conectar DIRECTAMENTE a todas las unidades a un cuadro de ejecución de ZFS. Obtener un HBA SAS y conectar las unidades a los ZFS capaz cuadro (por ejemplo, runing OmniOS o SmartOS). A continuación, puede compartir el espacio a través de NFS, SMB, iScsi ...

0voto

A T Puntos337

La razón de ZFS en la parte superior de RAID de HARDWARE de volúmenes lógicos es una MUY MALA idea, es porque ZFS requiere a nivel de bloque el acceso a la realidad funcione correctamente. Sí, va a ser utilizable, pero la funcionalidad no estará completa hasta que usted fije las unidades directamente en el sistema operativo a través de un HBA o directa conexiones SATA. Un ejemplo es que en la configuración que estamos proponiendo ZFS no puede razonablemente proteger sus datos contra cambios a los datos abajo (en el otro lado de la TAREA de la controladora RAID), y, como tal, no garantiza la seguridad de sus datos. Esta es una de las principales razones de ZFS se utiliza, además de ser super duper rápido.

ZFS es impresionante tecnología, y se los recomiendo. Pero vas a tener que revisar su estructura de aquí a fin de ser capaz de utilizar correctamente. Es decir, tener ZFS crear los volúmenes lógicos (vdevs) de los discos directamente.

Suena como que hay mucho más a la lectura que usted necesita hacer sobre cómo ZFS opera antes de que usted pueda comprender con precisión lo que usted ha propuesto que, contrario a lo que realmente se debe hacer en su lugar.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: