10 votos

Que Sistema de Archivos Distribuido como un backend para el Cloud Computing?

Tengo un básico en la nube que se ejecuta en un Servidor Ubuntu (9.04) y el Eucalipto. Morsa (Eucalipto' API compatible S3 aplicación) almacena archivos en la nube controlador. Sin embargo, cada uno de los otros 4 servidor tiene 1 TB de almacenamiento que es poco utilizado. Estoy buscando una forma de aunar el almacenamiento de información en conjunto con el fin de hacer uso de todos los recursos disponibles. He sido loooking en varias opciones, incluyendo PVFS, Lustre, HDFS (Hadoop).

Mis únicos requisitos son que sea escalable y que funciona bien en Ubuntu. Me gustaría escuchar de alguien que tenga experiencia con estas tecnologías y espero con interés escuchar sus sugerencias.

266voto

James Puntos 1938

Con Lustre tienes que tener un kernel especial en los servidores, y yo solo tendría los servidores los servidores y nada más.

Extrañamente la mayoría de cuerda respuesta mucho bien ser NFS. Hemos utilizado NFS en Amazon en la nube. Es posible que no escala, así como algunos sistemas de archivos, pero la sencillez no debe me pasa por alto. Un solo espacio de nombres es, probablemente, no vale la pena el esfuerzo que se necesitaría para poner en práctica.

5voto

Glomek Puntos 12183

Aunque yo no los he personalmente implementado en cualquier lugar en nuestros sistemas, he mirado extensamente en Gluster. Conozco a un par de personas en algunos de los grandes sitios que utilizan este y al parecer funciona realmente bien. La utilizan en la producción de algunos de pesado de aplicaciones HPC.

1voto

Biker John Puntos 123

Has mirado en mogileFS? http://danga.com/mogilefs/

No es un sistema de archivos en el sentido tradicional, sino que es bueno para la distribución de archivos de datos en un cluster (con la duplicación y la redundancia de tenerse en cuenta).

Si usted está sirviendo de seguridad de los archivos de una aplicación web, tendrá algo que sirven los archivos. Me gustaría sugerir un script de PHP que utiliza la petición HTTP como la clave de búsqueda para encontrar el archivo que desee en la mogile FS. A continuación puede leer el contenido del archivo en un buffer y echo o print.

MogileFS ya es bastante rápido, pero se puede combinar mogileFS con memcache para acelerar el acceso a los archivos más utilizados.

1voto

BrewinBombers Puntos 1122

Está usted todavía en busca en HDFS? Uno de los Cloudera chicos dieron una charla en VelocityConf de este año sobre Hadoop y HDFS centrado en la gestión de grandes clústeres de datos, por lo que habló acerca de HDFS bastante. Las diapositivas son bastante informativo. No he trabajado con HDFS personalmente, pero he hablado con gente al azar en la Velocidad que se están usando en Ubuntu para hacer diversos análisis de datos.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: