15 votos

Disco de Planificación de la Capacidad para Susurro / Grafito

¿Alguien tiene alguna de las fórmulas, o tal vez algunos datos de la muestra de su entorno que me puede ayudar a estimar la cantidad de espacio en disco puede ser utilizado por grafito por datapoint?

7voto

gWaldo Puntos 9177

whisper-info.py le da un montón de información en el qué y el cómo de cada archivo es agregado, incluyendo el tamaño del archivo.

EDITAR:

Cuando se le preguntó por un ejemplo...

storage_schema:

{
    :catchall => {
      :priority   => "100",
      :pattern    => "^\.*",
      :retentions => "1m:31d,15m:1y,1h:5y"
    }
}

Buscar en mi archivo applied-in-last-hour.wsp, ls -l rendimientos

-rwxr-xr-x 1 root root 4415092 Sep 16 08:26 applied-in-last-hour.wsp

y whisper-info.py ./applied-in-last-hour.wsp rendimientos

maxRetention: 157680000
xFilesFactor: 0.300000011921
aggregationMethod: average
fileSize: 4415092

Archive 0
retention: 604800
secondsPerPoint: 10
points: 60480
size: 725760
offset: 52

Archive 1
retention: 2678400
secondsPerPoint: 60
points: 44640
size: 535680
offset: 725812

Archive 2
retention: 157680000
secondsPerPoint: 600
points: 262800
size: 3153600
offset: 1261492

Así que, básicamente combina sus anfitriones por la retención de la partida por retención-periodo-segmento por stat, se multiplica por un factor de sistemas que usted tiene la intención de aplicar este demasiado, factor en el número de nuevas estadísticas que vas a la pista. Luego de tomar cualquier cantidad de almacenamiento que es y por lo menos el doble (porque estamos comprando de almacenamiento, y sabemos que vamos a utilizar...)

2voto

AndreKR Puntos 342

En la documentación de statsd que dar un ejemplo de una política de retención de datos.

Las retenciones son 10s:6h,1min:7d,10min:5y que es 2160 + 10080 + 262800 = 275040 puntos de datos y te dan un archivo de tamaño de 3.2 MiB.

Suponiendo una relación lineal, esto sería aproximadamente 12.2 Bytes por cada punto de datos.

1voto

voretaq7 Puntos 63415

Experiencia directa con Grafito, pero me imagino que la misma lógica que se utilizó para Cactus o cualquier otra cosa RRD o el tiempo de desplazamiento impulsado aplicaría (Grafito no uso RRD internamente más, pero el almacenamiento de la lógica parece comparable.)

La respuesta rápida es "Probablemente no mucho más espacio de lo que crees que necesitarás."


El tiempo de respuesta implica algún sitio-específica de matemáticas. Para nuestro sistema de monitoreo (InterMapper) I figura fuera de los períodos de retención, resoluciones, y datapoint tamaño, hacer algunas multiplcation, y agregar en sobrecarga.

Como ejemplo voy a usar el espacio de disco - almacenamos figuras con un 5 minutos de precisión de 30 días, a 15 minutos de precisión para un adicional de 60 días, y luego de una hora de alta precisión para más de 300 días, y estamos usando un sistema de 64 bits (8 bytes) entero para almacenar:

  • 21600 muestras total, desglosado:
    • 8640 de muestras para el día 30 5 minutos de precisión
    • 5760 muestras de 60 días de 15 minutos de precisión
    • 7200 muestras de los 300 días de 1 hora precisión

A las 8 bytes por muestra que se trata de 173KB, además de saludable sobrecarga para el almacenamiento de indexación y como trae a cerca de 200 KB para una partición de disco del uso de datos (cualquier error tiende hacia la sobreestimación).

A partir de la base de métricas puedo trabajar un promedio "por equipo" tamaño (10 particiones de disco, el espacio de intercambio, el CARNERO, el promedio de carga, transferencia de red, y un par de otras cosas) -- funciona a alrededor de 5MB por máquina.

También he de añadir una buena 10% en la parte superior de la final del número y de la ronda, así que el tamaño de las cosas a 6MB por la máquina.

Luego miro a los 1TB de espacio que tengo por ahí para almacenar los datos de métricas para la creación de gráficos y decir "Sí, soy probablemente no se ejecuta de almacenamiento en mi vida, a menos que crecer un montón!" :-)

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: