40 votos

¿Cuál es la mejor manera de explicar los problemas de almacenamiento para los desarrolladores y otros usuarios

Cuando el servidor de almacenamiento se baja los desarrolladores comienzan a gemir, "yo puedo conseguir un 1 TB de disco en Walmart por 100 dólares, ¿cuál es el problema".

¿Cómo pueden las complejidades de almacenamiento se explicó a los desarrolladores para que puedan entender por qué un 1 TB unidad de Walmart simplemente no funciona.

p.s. Soy un desarrollador y desea saber demasiado: )

53voto

David Locke Puntos 4419

Algunas verdades sobre el almacenamiento, o por qué es la empresa de almacenamiento de modo que f-ing caro?

Consumidor unidades de disco duro ofrecen grandes volúmenes de espacio, por lo que incluso el más exigente de los usuarios de *tos* medios de transmisión *tos* puede comprar lo suficiente como para almacenar una colección de varios terabytes. De hecho, la capacidad del disco ha estado creciendo más rápido que el transistor cuenta en el silicio durante un par de décadas.

'La empresa' de almacenamiento es un poco más complejo tema, como los datos de rendimiento y los requisitos de integridad que dictar un poco más de peso pesado de enfoque. Los datos deben tener una cierta garantía de disponibilidad en caso de fallas de hardware y puede ser compartida con un gran número de usuarios, lo que generará muchas más solicitudes de lectura/escritura de un único usuario.

La técnica de las soluciones a este problema pueden ser muchas, muchas veces más caro por gigabyte de los consumidores soluciones de almacenamiento. También requieren mantenimiento; las copias de seguridad deben ser tomadas y almacenadas a menudo fuera del sitio de modo que un incendio no destruir los datos. Este proceso agrega costos continuos.

Rendimiento

En su 1TB de los consumidores o incluso de empresa cerca de la línea de impulsión tiene una sola cabeza. El disco gira a 7200 RPM, o 120 revoluciones por segundo. Esto significa que usted puede conseguir en la mayoría de los 120 de acceso aleatorio operaciones de e/S por segundo, en teoría,* y algo menos en la práctica. Por lo tanto, la copia de un archivo de gran tamaño en un solo volumen de 1TB es relativamente lenta.

En una matriz de discos con 14x 72 gb de los discos, que tiene 14 jefes sobre los discos de ir a (por ejemplo) a 15.000 RPM o aproximadamente 250 revoluciones por segundo. Esto le da a usted un máximo teórico de 3.500 azar operaciones de e/S por segundo* (de nuevo, algo menos en la práctica). Todas las otras cosas siendo iguales en un archivo de la copia serán muchas, muchas veces más rápido.

* Usted puede obtener más de un acceso aleatorio por cada revolución del disco si la geometría de las lecturas permitido a la unidad de mover las cabezas y leer un sector que pasó a estar disponible dentro de una revolución de la disco. Si los accesos a disco se dispersaron ampliamente probablemente un promedio de menos de uno. Donde la matriz de disco formateado en una rayas (ver a continuación) diseño que va a obtener un máximo de una raya de lectura por cada revolución del disco en la mayoría de las circunstancias, y (dependiendo de la controladora RAID), posiblemente, menos de uno en promedio.

El 7200 RPM unidad de 1 tb probablemente será razonablemente rápida secuencial de I/O. las matrices de Disco formateado en un esquema rayado (RAID-0, RAID-5, RAID-10, etc.) normalmente se puede leer en la mayoría de las bandas por cada revolución del disco. Con un 64 kb de la raya podemos leer 64Kx250 = 16 MB de datos por segundo de 15.000 RPM de disco. Esto da un rendimiento secuencial de alrededor de 220MB por segundo en una matriz de 14 discos, que no es mucho más rápido en el papel que los 150MB/seg o por lo citó para una moderna 1 tb de disco SATA.

Para la transmisión de vídeo (por ejemplo), una matriz de 4 discos SATA en RAID-0 con un gran tamaño de banda (algunos controladores RAID apoyará tamaño de las bandas de hasta 1MB) tienen un buen montón de rendimiento secuencial. Este ejemplo podría teóricamente flujo de aproximadamente 480 MB/seg, que es cómodamente suficiente para hacer tiempo real en HD sin comprimir de edición de vídeo. Por lo tanto, los propietarios de Mac Pros y hardware similar puede hacer de vídeo HD de la composición de las tareas que han requerido de una máquina con una conexión directa de fibra de matriz de hace apenas unos años.

El beneficio real de una matriz de disco en la base de datos de trabajo que se caracteriza por un gran número de pequeñas, dispersas solicitudes de I/O. En este tipo de rendimiento de carga de trabajo está limitada por la física de latencia de pedazos de metal en el disco de dar la vuelta-y-vuelta y vuelta-y-vuelta. Esta métrica es conocido como IOPS (operaciones de entrada/salida por segundo). El más discos físicos que tienen - con independencia de su capacidad - la más IOPS que, teóricamente, puede hacer. Más IOPS significa más transacciones por segundo.

La integridad de los datos

Además la mayoría de las configuraciones de RAID a dar algunos datos de la redundancia - que requiere más de un disco físico, por definición. La combinación de un esquema de almacenamiento con redundancia y un mayor número de unidades que se le da a un sistema de la capacidad confiable de servir a una gran carga de trabajo transaccional.

La infraestructura para matrices de discos (y SANs en el más extremo de los casos) no es exactamente un mercado de masas elemento. Además es uno de los bits que realmente, realmente no puede fallar. Esta combinación de estándar de construir y pequeños volúmenes de mercado no es barato.

Total de los costos de almacenamiento, incluyendo copia de seguridad

En la práctica, el mayor costo para el mantenimiento de 1 tb de datos es probable que sea la copia de seguridad y recuperación. Una unidad de cinta y 34 conjuntos de SDLT o cintas ultrium para una completa abuelo ciclo de copia de seguridad y recuperación probablemente le costará más que un disco de 1TB matriz hizo. Agregar los costos de almacenamiento fuera del sitio y el sueldo de una sola cinta de mono y de repente su 1TB de datos no es tan barato.

El costo de los discos es a menudo una manera justa hacia abajo en la jerarquía de la posición dominante de los costes de almacenamiento. En un banco, tuve la oportunidad de trabajar para almacenamiento SAN, fue costeado en £900/GB para un sistema de desarrollo y de £5.000/GB de un disco en un servidor de producción. Incluso en la empresa proveedor de precios el coste físico de los discos era sólo una pequeña fracción de eso. Otro ejemplo de que soy consciente de que tiene un (relativamente) modestamente configurado IBM Tiburón SAN que cuestan algo más de £1 millón. Sólo el almacenamiento físico en este se cobra a cabo en alrededor de £9/gigabyte, o alrededor de £9,000 de un espacio equivalente a su de los consumidores de 1 tb de HDD.

40voto

Chris Roberts Puntos 7543

Acaba de decir: "Sí, y puedo conseguir un programador de Java offshore por $5/hora".

14voto

TheCottonSilk Puntos 364

Tal vez les hará algunas preguntas acerca de sus Walmart de la unidad:

  • ¿qué es el tiempo medio hasta el fallo?
  • ¿qué ocurre si falla catastropically?
  • ¿con qué frecuencia se realiza copia de seguridad?
  • ¿cuánto espacio de almacenamiento será de 12 meses de copias de seguridad requieren?
  • ¿cómo puede ser una copia de seguridad fuera del sitio?
  • como no podía ser restaurado? (en su totalidad? un solo archivo? un par de directorios?)
  • ¿cuánto es el costo de almacenar las copias de seguridad?
  • ¿cómo va a garantizar que las copias de seguridad se mantienen a salvo? seguro?
  • qué tipo de seguro tiene que cubrir la pérdida de datos vitales?

... Comparar estas respuestas con un disco en el que se ejecuta como parte de un array RAID 5 en un buen manejo de su centro de datos.

(Revelación: soy desarrollador demasiado - sólo estoy adivinando!)

4voto

Omer van Kloeten Puntos 6268

Tal vez usted debería considerar la posibilidad diferenciada de almacenamiento.

Su dev podría necesitar más espacio, pero tal vez no es la "clase empresarial" drivespace él es después. Tal vez sólo necesita disponer de un lugar de almacenamiento .vhd y de ISO, que es el caso de un fallo en el disco puede descargarse desde la web de MSDN. Tal vez la prueba se ejecuta requieren de gran espacio transitorio requisitos que sólo se necesita estar allí para la duración de la ejecución de la prueba. Para todos estos $50 Wallmart unidad puede ser una solución válida.

3voto

sanmiguel Puntos 1235

Cosa número uno que la gente necesita darse cuenta de almacenamiento es que hay una gran diferencia entre la capacidad y los IOPS. Cosas como la durabilidad, etc son generalmente discutible, casi siempre se trata de IOPS vs capacidad.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: