18 votos

150 TB y creciente, pero, ¿cómo crecer?

Mi grupo tiene actualmente dos largish de almacenamiento de los servidores, NAS ejecutando debian linux. La primera es un todo-en-uno de 24 de disco (SATA) de servidor que es de varios años. Tenemos dos de raid de hardware configurado con LVM sobre aquellos. El segundo servidor es de 64 discos divididos en 4 recintos, cada uno de un RAID de hardware 6, conectados a través de SAS externo. Podemos usar XFS con LVM más que para crear 100 TB de almacenamiento útil. Todo esto funciona bastante bien, pero estamos superando estos sistemas. Teniendo construir dos servidores y sigue creciendo, queremos construir algo que nos permite más flexibilidad en términos de crecimiento en el futuro, opciones de copia de seguridad, que se comporta mejor en virtud de fallo de disco (la comprobación de los más grandes del sistema de ficheros puede tomar un día o más), y puede ponerse de pie en un gran concurrente medio ambiente (think small clúster de equipo). No tenemos sistema de apoyo a la administración, por lo que administramos todo de nosotros (somos un laboratorio de genómica).

Así, lo que nosotros buscamos es un costo relativamente bajo, aceptable de rendimiento de la solución de almacenamiento que permitirá el crecimiento futuro y la configuración flexible (creo ZFS con diferentes grupos tienen diferentes características de funcionamiento). Estamos, probablemente, fuera de la esfera de un solo NAS. Hemos estado pensando en una combinación de ZFS (en openindiana, por ejemplo) o btrfs por servidor con glusterfs que se ejecuta en la parte superior de que si lo hacemos nosotros mismos. Lo que pesa en contra es que simplemente morder la bala y la inversión en Isilon o el almacenamiento 3Par soluciones.

Cualquier sugerencias o experiencias son apreciados.

16voto

Florian Heigl Puntos 887

Espero que esto te va a ayudar un poco. Traté de no dejar que se convierta en una pared repleta de texto. :)

3Par/Isilon

Si usted puede y va a dedicar una cantidad fija de horas-hombre para alguien que se toma el SAN rol de administrador y quiero disfrutar de una vida sin dolor con la noche de dormir en lugar de la noche-el trabajo, entonces, esta es la forma en que me gustaría ir.

Una SAN permite hacer todas las cosas en las que un único "almacenamiento" limitaría (es decir, conectar un purestorage flash matriz y una gran 3par sata monstruo en el mismo servidor), pero también tienes que pagar por ello y mantenerlo en buen estado todo el tiempo si quieres hacer uso de la flexibilidad.

Alternativas

Amplidata

Pros: Escala, hoteles, diseñado con un concepto agradable y dedicado de lectura/escritura de la caché de capas. Esto puede ser realmente la mejor cosa para usted.

RisingTideOS

Su objetivo de software se utiliza en casi todos los linux almacenamientos de ahora y es lo que permite a una mejor gestión de la llanura linux / gluster cosas podría. (En mi humilde opinión) La versión comercial podría ser digno de una mirada.

Gluster/btrfs

PRO: las Escalas y de los "Ladrillos" darle una capa de abstracción que es muy bueno para la gestión.

En contra: La primera ha sido un total de PITA para mí. No era robusto, y los fracasos pueden ser local en un ladrillo o sacar todo. Ahora, con RedHat en el control que en realidad podría convertirse en algo de trabajo e incluso he conocido gente que se puede domesticar para que funcione durante años. Y la segunda es todavía la mitad-experimental. Normalmente un FS necesidades de 3-4 años después de que el "hecho" hasta que se ha probado y robusto. Si usted cuida de los datos, ¿por qué nunca consideraría esto? Hablando de experimental, Ceph soporte comercial está casi fuera ahora, pero usted debe mantener la "RBD" de la capa, el FS no es bien probado lo suficiente todavía. Quiero dejar claro que aunque Ceph, es mucho más atractiva en el largo plazo. :)

ZFS

Pro: Características que sin duda poner un clavo en otras cosas del ataúd. Esas características están bien diseñados (creo L2ARC) y la compresión/dedup es divertido. Tienen más "clústeres de almacenamiento", que significa también tiene sus pequeños fallos en lugar de uno grande consolidado boom

En contra: el Mantenimiento de muchas pequeñas cajas de software en lugar de un real de almacenamiento. La necesidad de integrar a ellos y a gastar $$$ horas para tener un robusto programa de instalación.

5voto

sysadmin1138 Puntos 86362

XFS + LVM ruta es de hecho una de las mejores opciones para la ampliación de la puro-Linux solución de almacenamiento en los últimos años. Me alienta que estás allí ya. Ahora que usted necesita para hacer crecer más, usted tiene algunas opciones más disponibles para usted.

Como usted sabe, los grandes proveedores de hardware por ahí tienen NAS-cabezas para su almacenamiento. Este sería, de hecho, dar un solo proveedor para trabajar con para hacer que todo suceda, y que funcionaría bastante bien. Son soluciones fáciles de conseguir en (en comparación con el DIY), y su mantenimiento es menor. Pero, cuestan bastante. Por un lado vas a tener más recursos de ingeniería para la solución de sus principales problemas, en lugar de los problemas de infraestructura; por otro lado, si usted es como la mayoría de los departamentos Universitarios, he conocido a hombre-poder es muy barato en relación a pagar en efectivo por las cosas.

Va el DIY de la ruta que ya tienen una buena apreciación de los DIY opciones disponibles para usted. ZFS/BTRFS son evidentes ruta de actualización de XFS + LVM para ampliar el almacenamiento. Me gustaría alejarse de BTRFS, hasta que se declaró a 'estable' en las fuentes originales del núcleo de Linux, que debe ser bastante pronto ahora que varias de las principales distros libres están utilizando como el sistema de archivo predeterminado. Para ZFS, me gustaría recomendar el uso de BSD base en lugar de OpenIndiana simplemente porque ha sido de alrededor de más y tiene los kinks (más) trabajó fuera.

Gluster fue diseñado para el caso de uso se describe aquí. Se puede hacer la replicación, así como presentar un único servidor virtual con un montón de almacenamiento conectado. Sus Volúmenes Distribuidos de sonido exactamente lo que usted está buscando, ya que difunden los archivos a través de todo el almacenamiento de los servidores en el volumen declarado. Usted puede agregar discretos servidores de almacenamiento para continuar con la expansión del volumen visible. Solo nombre-espacio!

El gotcha con Gluster es que funciona mejor cuando sus clientes pueden utilizar el Gluster Cliente para acceder al sistema en lugar de la CIFS o NFS opciones. Puesto que usted está ejecutando un pequeño clúster clúster de cálculo, usted puede ser capaz de utilizar el GlusterFS cliente.

Usted está en el camino correcto aquí.

1voto

SKFox Puntos 757

Como tengo entendido que usted podría utilizar una solución de SAN basado en Linux SCST + canal de fibra o infiniband, Que es algo que estoy construyendo ahora mismo. Como base para el Lun usted podría utilizar LVM en la parte superior de raid de hardware y cuidado de la toma de fotografías/reproducción (tomar DRBD como un ejemplo) por debajo del nivel de sistema de archivos. Como un sistema de ficheros no estoy al tanto de cualquier buena solución para concurency como me voy a poner ESXi en la parte superior de los nodos, por lo que los almacenes de datos son administrados por ESX concurrente FS. Creo que GFS2 podría trabajar con ese entorno, pero no estoy 100% seguro de que, como usted debe verificar sus requisitos exactos. De todos modos una vez que usted tiene un sólido SAN debajo de sus nodos, es bastante fácil de hacer las cosas.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: