1 votos

Computación distribuida a través de AWS

Sé que es posible equilibrar el tráfico utilizando instancias ELB/EC2, pero ¿hay alguna forma de distribuir los cálculos de la CPU en un clúster de instancias?

Quiero procesar un montón de vídeo/audio utilizando ffmpeg, pero si el servidor se vuelve demasiado lento, me gustaría ser capaz de generar otra instancia con la misma configuración para tomar parte de la carga del servidor principal. Piensa en ello como una mini granja de procesamiento

¿Es posible lo que busco hacer con amazon, si lo es, qué debo buscar en términos de documentación y servicios de AWS? Gracias

2voto

EEAA Puntos 66011

En este sentido, las instancias EC2 de Amazon no son diferentes de cualquier otro hardware.

Sí, hay frameworks que ayudan a la computación en clúster, pero no es sencillo, y seguramente no hay un paquete "mágico" que puedas instalar para que funcione.

Su aplicación tendrá que ser escrita con la paralelización/clusterización en mente para que esto tenga alguna posibilidad de funcionar, y si funcionará o no dependerá en gran medida de su carga de trabajo específica.

0voto

khoxsey Puntos 637

El OP ya ha aceptado la respuesta de @ErikA, pero voy a publicar un par de pensamientos más. Si bien es cierto que las instancias de EC2 no ofrecen nada diferente de otro hardware, no ocurre lo mismo con AWS en su conjunto. Hay varios servicios construidos específicamente para distribuir la computación y los servicios en mini (o maxi) granjas de procesamiento.

Hay algunos recursos excelentes disponibles que describen cómo hacer el procesamiento de vídeo utilizando el conjunto de servicios de AWS. Yo sugeriría comenzar con el Estudio de caso de Encoding.com y luego profundizar un poco más en algunas de las áreas de computación del Centro de Arquitectura .

La combinación de servicios disponibles es única: EC2 y Elastic Beanstalk para los recursos informáticos, S3 para el almacenamiento de blobs a gran escala, SimpleDB para el almacenamiento de blobs pequeños (metadatos) y SQS/SWS para soportar la mensajería y la distribución de tareas. Ciertamente, puedes diseñar e implementar sistemas que hagan cualquiera de estas cosas o todas, pero con una cuenta de AWS puedes poner en marcha todo el conjunto de tareas esta tarde.

0voto

Dan Dascalescu Puntos 170

Una nueva respuesta a la informática distribuida de AWS es AWS Lambda. Básicamente, le permite ejecutar funciones de JavaScript bajo demanda, en diferentes máquinas en la nube, sin tener que hacer ningún tipo de aprovisionamiento de configuración/techo. Solo pagas por el tiempo que se ejecuta el código y no tienes que configurar un clúster de servidores para esperar los trabajos.

AWS Lambda ejecuta automáticamente su código en una infraestructura informática de alta disponibilidad y realiza toda la administración de los recursos informáticos subyacentes, incluido el mantenimiento del servidor y del sistema operativo, el aprovisionamiento de capacidad y el escalado automático, la implementación de código y parches de seguridad, y la monitorización y el registro. Todo lo que tiene que hacer es escribir el código.

http://aws.amazon.com/lambda/

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: