16 votos

Copia de seguridad de los datos almacenados en Amazon S3

Tengo una instancia de EC2 ejecutando un servidor web que almacena los usuarios' los archivos subidos a S3. Los archivos se escriben una vez y nunca cambian, pero se recuperan de vez en cuando por los usuarios. Es probable que se acumulan alrededor de 200-500 GB de datos por año. Nos gustaría asegurarnos de estos datos es segura, especialmente de eliminaciones accidentales y le gustaría ser capaz de restaurar los archivos que se han eliminado, independientemente de la razón.

He leído acerca de la función de control de versiones para el S3 cubos, pero me parece no puede encontrar si es posible la recuperación de archivos sin la necesidad de modificar la historia. Ver la AWS docs aquí en el control de versiones:

http://docs.aws.amazon.com/AmazonS3/latest/dev/ObjectVersioning.html

En esos ejemplos, que no muestran el escenario donde se cargan los datos, pero nunca modificado, y luego se elimina. Son archivos borrados en este escenario recuperable?

Entonces, pensamos que sólo puede copia de seguridad de los archivos S3 al Glaciar el uso de objetos de gestión del ciclo de vida:

http://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-mgmt.html

Pero, parece que esto no va a funcionar para nosotros, como el objeto de archivo no se copia al Glaciar, pero se mudó a Glaciar (con más precisión parece ser que es un atributo de objeto que se cambia, pero de todos modos...).

Así que parece que no hay forma directa de copia de seguridad S3 de datos, y transferir los datos del S3 a servidores locales puede ser una pérdida de tiempo y puede incurrir en los costos de transferencia a lo largo del tiempo.

Por último, hemos pensado crear un nuevo cubo de cada mes, para servir como un mensual de copia de seguridad completa, copia de la original cubo de datos a la nueva en el Día 1. A continuación, el uso de algo como duplicity (http://duplicity.nongnu.org/) nos sincronizar la copia de seguridad cubo cada noche. Al final del mes íbamos a poner el cubo de copia de seguridad del contenido en el Glaciar de almacenamiento, y crear una nueva copia de seguridad cubo utilizando una nueva copia exacta de la original cubo...y repetir este proceso. Esto parece que sería el trabajo y minimizar el almacenamiento y / o transferencia de los costos, pero no estoy seguro de si duplicidad permite cubo a cubo de transferencias directamente sin aportar datos para el control de cliente en primer lugar.

Así que, supongo que hay un par de preguntas aquí. En primer lugar, hace S3 versiones de permitir la recuperación de los archivos que nunca se han modificado? ¿Hay alguna forma de copiar los archivos desde el S3 al Glaciar que me he perdido? Puede duplicidad o cualquier otra herramienta de transferencia de archivos entre el S3 cubos directamente para evitar los costes de la transferencia? Por último, estoy muy lejos de la marca en mi enfoque de la copia de seguridad de datos de S3?

Gracias de antemano por cualquier visión que podría ofrecer!

Actualización

Amazon ha anunciado recientemente que el control de versiones ahora funciona con el ciclo de vida de las reglas de

10voto

Sirex Puntos 4053

He leído acerca de la función de control de versiones para el S3 cubos, pero me parece no puede encontrar si >es posible la recuperación de archivos sin la necesidad de modificar la historia. Ver la AWS docs aquí en >versiones:

He intentado esto. Sí, usted puede restaurar a partir de la versión original. Cuando se elimina el archivo hace un eliminar marcador y puede restaurar la versión antes que yo.e: el solo, solo, de la revisión.

Entonces, pensamos que sólo puede copia de seguridad de los archivos S3 al Glaciar el uso de objetos de ciclo de vida >gestión:

Pero, parece que esto no va a funcionar para nosotros, como el objeto de archivo no se copia al Glaciar, pero >se trasladó al Glaciar (con más precisión parece ser que es un atributo de objeto que se cambia, pero >de todos modos...).

El glaciar es realmente significaba para el almacenamiento a largo plazo, lo cual es muy accede con poca frecuencia. También puede obtener muy caro para recuperar una gran parte de los datos en una sola vez, ya no tiene el propósito de punto en el tiempo de la restauración de la gran cantidad de datos (porcentualmente).

Por último, hemos pensado crear un nuevo cubo de cada mes, para servir como un completo mensual >copia de seguridad y copia de la original cubo de datos a la nueva en el Día 1. A continuación, el uso de algo >como duplicity (http://duplicity.nongnu.org/) nos sincronizar la copia de seguridad de cada cubo >la noche.

No hacer esto, usted sólo puede tener 100 cubos por cuenta, por lo que en 3 años te han llevado hasta un tercio de su cubo de franquicia, con sólo las copias de seguridad.

Así que, supongo que hay un par de preguntas aquí. En primer lugar, hace S3 versiones de permitir la recuperación de >los archivos que nunca se han modificado?

¿Hay alguna forma de copiar los archivos desde el S3 al Glaciar que me he perdido?

No que yo sepa

3voto

nandoP Puntos 1308

No me gusta tener s3 montado, porque su lento y puede colgar y se comporta como nfs de la vieja escuela. mejor solo arriba/abajo según sea necesario.

http://s3tools.org/s3cmd

es fácil de guión... no olvides tu archivo ~/.s3cfg

1voto

JakeGould Puntos 2275

Suena como que usted puede ser que necesite S3FS que básicamente monta el S3 cubos como si fueran sistemas de archivos locales:

http://code.google.com/p/s3fs/wiki/FuseOverAmazon

Yo prefiero esta versión bifurcada ya que conserva la misma estructura de carpetas como lo que es creado en el panel de control de web de Amazon S3:

https://github.com/tongwang/s3fs-c

Entonces tengo algunos scripts de shell en el lugar que, básicamente, el uso de rsync para sincronizar los datos a mi estructuras locales.

En general, me parece S3FS funciona mejor para la lectura de los contenidos dentro de los depósitos de Amazon S3. La escritura no es tan consistente. Pero para los propósitos de copia de seguridad S3 cubos, el Tony Wang tenedor de S3FS de las grandes obras.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: