16 votos

Rentable, a largo plazo el archivo de vídeo y los datos de la imagen? ~50 TB

Mi laboratorio está en proceso de instalar un pequeño servidor que contiene los datos (sobre todo de vídeo y los datos de la imagen, además de un par de documentos) para el proyecto de nuestro grupo está trabajando en un momento en el tiempo. Históricamente, después de un proyecto de investigación extremos, los datos azares del destino termina siendo archivados en una unidad de disco duro, o una gran pila de Dvd (o Cd en los días de antaño), y/o algunos de los videos terminó en Sony DV casetes o incluso cintas VHS (este laboratorio ha estado activo desde principios de los '90), O una mezcla de todos los anteriores...

Pregunta: ¿Cuál es la mejor manera para que (1) la consolidación de TODOS ellos en el mismo formato Y soporte de almacenamiento, y (2) ¿cuál es el mejor medio para el archivado a largo plazo de tales datos para la muy ocasional de acceso (por ejemplo, 30 años?)? Lamentablemente no disponemos de la empresa a nivel de presupuesto (estamos a sólo un ~10 personas de laboratorio), por lo que no puede hacer cosas que cuesta cientos de miles de dólares.

Gracias!

P. S. Considerando que nuestro viejo video y las imágenes de menor resolución, pero los últimos son enormes, creo que estamos hablando de 30~40 TB de la realidad de los datos antiguos, otro 10~20 TB de datos recientes, luego aumento anual de alrededor de 5 TB.

22voto

sysadmin1138 Puntos 86362

Lamentablemente, no hay mejor manera para usted. 30 años de archivo de medios digitales, es un problema muy difícil y lleva a la rutina de la inversión. Acerca de la única formatos garantizados para ser legible en 30 años son ASCII y UTF-8, que no son formatos de vídeo. Formatos de almacenamiento de cambio, el 8 de pista de carrete cintas estábamos usando hace 30 años son casi imposibles de leer en estos días, incluso aunque los datos todavía está en la cinta (hay una historia interesante acerca de la NASA de la reconstrucción de un 40 años de edad unidad de cinta para llegar a algunos recién recuperado/descubierto Apolo de cintas de datos). Su mejor apuesta es comprometerse con el periódico, me gustaría decir que cada 5 años, las evaluaciones de su archivo ambiente con suficiente presupuesto para traer a los viejos formatos en los nuevos formatos.

Usted probablemente sabe mejor que yo, pero el video y el paisaje está cambiando rápidamente. En tiempo real de edición en línea, ahora es posible, donde sólo era factible en serio buen kit de incluso 10 años. Quién sabe cómo se verán las cosas de los 30 años.

  • Configurar su archivo de la ventana para 5 años.
    • En el plazo inmediato un largish matriz de almacenamiento debe ser suficiente (
      • grande y lento 50TB disco puede ser tenido por menos de $70K, posiblemente bajo.
      • Una unidad de cinta LTO5 y 50 cintas (más de 50TB la pena) puede ser tenido por menos de $15 MIL.
  • Lo del formato de la tienda de su video.
  • Comenzar a encontrar y la conversión de todos los de su más cosas en este nuevo almacenamiento.
  • Al final de 5 años, hacer otra evaluación completa de su archivo ambiente.
    • ¿En qué formatos están utilizando?
    • ¿Cuáles son los nuevos formatos?
    • Lo de los codecs parecen callejones sin salida, y qué medios de comunicación se han almacenado los codificados de esa manera?
    • Decida cómo va a migrar a nuevos métodos de almacenamiento de datos (formatos de disco/cinta/algo más), y pasar de forma adecuada.
  • Repetir 6 veces.

Que debe llegar a los 30 años.

11voto

Some French Guy Puntos 96

Estoy totalmente de acuerdo con sysadmin1138 post en todos los sentidos de la barra de una advertencia - no creo que usted va a tener el presupuesto para realmente lograr lo que desea.

Existen 5 funciones principales que usted necesita para crear;

  • estándar de contenido y catálogo de la política - sé que usted desea almacenar todo en un formato pero usted realmente debería considerar la posibilidad de dos PDF, imágenes y H. 264 para vídeo - ambos son a largo plazo-apoyo de los formatos con la multi-plataforma de código que casi seguramente será apoyado por un partido u otro de 25 a 50 años, en su forma actual, simplemente debido a la existente en uso en todo el mundo.
  • un catálogo o de la CMS para el índice y publicar el contenido.
  • un contenido de ingerir el sistema " esto va a tomar todos los medios de comunicación, paquete, codificar, almacenar y actualizar el catálogo para cada nueva pieza de contenido. Se necesita un manual o automatizado de la calidad de los contenidos de verificación poner en su lugar también.
  • un contenido primario de la tienda - esto tendrá dos principal de almacenamiento de bloques; uno pequeño, uno para sostener origen contenido mientras se transcodifican/activado y una mucho más grande de bloque para almacenar el contenido 'cerca de'. Este es uno de los únicos usos válidos para RAID 6 que he encontrado pero intenta utilizar enterprise la calidad de los discos que tienen un 24x365 'ciclo de trabajo' aquí.
  • a largo plazo sistema de copia de seguridad - aquí es donde el verdadero dinero se gasta, usted tendrá que seleccionar un proveedor que ofrece realmente a largo plazo la capacidad de copia de seguridad. Si yo estuviera haciendo ahora me gustaría ir con cinta adhesiva sobre el disco puramente para los datos de la longevidad de las razones, tal vez por IBM, ya que tienen un montón de experiencia en esta área. También es necesario considerar que usted necesita para regular la cinta de restauraciones de datos y verificaciones, lo que implica que necesitará un tercer bloque de almacenamiento de al menos tan grande como la mayor de las cintas que tienen - y los sistemas de comprobar también, por supuesto. En la parte superior de la que usted necesita para asegurarse de que el software de copia de seguridad utilice será de alrededor durante mucho tiempo, algo así como el ALQUITRÁN en *nix es probable que sea alrededor por un tiempo, pero no funcionalmente darle lo que quiere así que asegúrese de que esto no es pasado por alto por su cinta proveedor.

Así que lo que quieres hacer se puede hacer, yo lo he hecho varias veces a lo largo de las últimas dos décadas, más o menos -, pero ninguno eran baratos, me temo.

La buena suerte.

3voto

Randolpho Puntos 36512

Los otros han dado buenos consejos acerca de cómo realizar sus medios de comunicación. Yo sugeriría que usted pasa algún tiempo de calidad buscando en la biblioteca del congreso pautas:

http://www.digitalpreservation.gov/formats/index.shtml

Usted también podría considerar la construcción de un hoteles de whitebox ZFS matriz. Usted probablemente podría hacer algo para que se ajuste a sus necesidades por menos de $10k. Como las unidades de morir, reemplazarlos con los más grandes, por lo que su capacidad de almacenamiento crece como se generan los datos. De que probablemente se mantendrá ocupado durante un buen rato, y se puede reemplazar con una mayor capacidad del dispositivo cuando se vuelven viejos. La ventaja es que sus datos están en línea (y por lo que se puede acceder como sea necesario), y está relativamente bien protegida contra bitrot, un grave problema cuando usted tiene esta cantidad de datos.

Un decente construir opción se armó aquí:

http://www.zfsbuild.com/

2voto

duffbeer703 Puntos 9747

Tan difícil como lo es para los tecnólogos, yo recomendaría inmediatamente detener los pensamientos acerca de los discos y la tecnología. Salir de su problema de negocio en las cosas que usted tiene que tomar decisiones acerca de.

Ejemplo:

  • ¿Cómo vas a lidiar con la conversión analógica/miscelánea digital formatos de cinta en los medios digitales que pueden ser almacenados en algún tipo de almacenamiento digital?
  • ¿Cómo se va a administrar el contenido y los metadatos asociados? El almacenamiento es fácil-usted podría poner todo en cinta LTO y almacenarlo en una antigua mina de sal, pero no tendría acceso a los datos.
  • Se re-inventar la rueda? Si estás en una universidad, existen ya soluciones para la gestión de contenido disponible de forma centralizada? O si usted necesita comprar o construir su propia gestión de contenido, hay centralizada de la infraestructura que usted puede comprar un pedazo de? (Cinta, almacenamiento de Objetos, SAN)
  • ¿Cuáles son los verdaderos requerimientos del negocio? ¿Qué es lo que realmente desea mantener y por qué? A menudo, cuando usted realmente cavar en el corazón de la materia, el real a largo plazo a los requisitos de retención en realidad se aplican solamente a un pequeño subconjunto de datos.

1voto

TRiG Puntos 495

Ser consciente de que si se almacenan los datos en un formato con pérdida, y, a continuación, convertir a otro formato con pérdida, y luego otro, su calidad de vídeo se degradan con cada transición.

El siguiente es hablar sobre el audio, pero el mismo se aplica en general:

Usted puede convertir cualquier formato de audio a Ogg Vorbis. Sin embargo, la conversión de un formato con pérdida, como MP3, a otro formato con pérdida, como Vorbis, es generalmente una mala idea. Tanto MP3 y Vorbis codificadores de lograr una alta las relaciones de compresión por tirar partes de la forma de onda de audio que no lo escucharán. Sin embargo, el MP3 y Vorbis códecs son muy diferentes, así que cada uno va a tirar diferente partes de audio, aunque no sin duda es cierto solapamiento. La conversión de una de MP3, Vorbis implica la decodificación de la MP3 archivo descomprimido el formato, como WAV, y volver a comprimir es utilizando el codificador Ogg Vorbis. El decodificado MP3 se que faltan las partes de el audio original MP3 codificador eligió para descartar. El Ogg Vorbis codificador luego descartar otros componentes de audio cuando se comprime los datos. A lo mejor, el resultado será un archivo Ogg de que los sonidos de la misma como su original MP3, pero es más es probable que el archivo resultante se sonido peor que el original MP3. En ningún caso se obtiene un archivo que suena mejor que el original MP3.

Ya que muchos de los reproductores de música puede jugar tanto Archivos MP3 y Ogg, no hay ninguna razón que usted debería tener que cambiar todo los archivos a un formato u otro. Si te gusta Ogg Vorbis, entonces le animamos a utilizarlo cuando codificar de original, sin pérdida de audio fuentes (como Cd). Cuando la codificación de originales, usted encontrará que usted puede hacer Ogg archivos que son más pequeños o de mejor calidad (o ambos) de su Mp3.

(Si usted debe absolutamente necesario convertir a partir de MP3 a Ogg, hay varios la conversión de secuencias de comandos disponibles en Freshmeat.)

http://www.vorbis.com/faq/#transcode

Así que es probablemente la mejor manera de elegir un formato sin pérdida, porque una vez que usted escoge un formato con pérdida, te estás atascado con ella.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: