8 votos

Linux md vs LVM rendimiento

Estoy tratando de afinar mi NAS, la ejecución de openfiler, y se preguntaba por qué estoy recibiendo relativamente pobre rendimiento de lectura de 4 WD TE3 discos en RAID 5.

EDIT: por Favor nota que estoy hablando del buffer de lectura de disco de velocidad no se almacenan en caché velocidades

EDIT: se ha Cambiado el formato para hacer evidente que existen dos conjuntos de salida.

Cuando ejecuto hdparm en el meta dispositivo puedo conseguir los niveles de desempeño que era de esperar, la caída en el volumen y es un tercio de la velocidad !

Cualquier cualquier idea de por qué ? Es LVM que malo ?

Dean

Meta el dispositivo /dev/md0 resultados

[root@nas2 etc]# hdparm-tT /dev/md0
/dev/md0:
 Temporización lecturas de caché: 4636 MB en 2.00 segundos = 2318.96 MB/seg.
 Temporización búfer de lecturas de disco: 524 MB en 3.01 segundos = 174.04 MB/seg.

Vol grupo /dev/mapper/vg1-vol1 resultados

[root@nas2 etc]# hdparm-tT /dev/mapper/vg1-vol1
/dev/mapper/vg1-vol1:
 Temporización lecturas de caché: 4640 MB en 2.00 segundos = 2320.28 MB/seg.
 Temporización búfer de lecturas de disco: 200 MB en 3.01 segundos = 66.43 MB/seg.

Edit: Véase la sección de la página man hdparm que sugieren que esto es perfectamente válida la prueba de rendimiento de lectura secuencial, que es la cuestión que estoy tratando de resolver.

 -t Realice los tiempos de lecturas de los dispositivos de punto de referencia y comparación. Para obtener resultados significativos, esta operación se debe repetir 2-3 veces en un
 sistema inactivo (no hay otros procesos activos) con al menos un par de megabytes de memoria libre. Esto muestra la velocidad de lectura a través del búfer
 caché en el disco sin previo almacenamiento en caché de datos. Esta medida es una indicación de cuán rápido la unidad puede sostener secuencial de datos de lecturas bajo
 Linux, sin ningún tipo de sistema de ficheros sobrecarga. Para garantizar la exactitud de las mediciones, el buffer se vacía la caché durante el procesamiento de-t utilizando la BLKFLSBUF
 ioctl. Si la opción-T de la flag también se especifica, entonces un factor de corrección basado en el resultado de la-T serán incorporados a los resultados reportados por el-t
 operación.

27voto

Baxissimo Puntos 1822

La carga de trabajo creado por hdparm-T no es representativo para casi cualquier uso, excepto en streaming que se lee de un solo archivo grande. También, si el rendimiento es un problema, no utilice raid5.

10voto

Ryan Sampson Puntos 2898

El valor predeterminado de readahead configuración de LVM son muy pesimistas. Intente blockdev --setra 8192 /dev/vg1/vol1 y ver lo que los golpes de su LVM rendimiento. Usted siempre tendrá un impacto en el rendimiento con el uso de LVM; la medimos correctamente configurado sistemas de alrededor del 10% de bloque fundamental en el rendimiento del dispositivo.

4voto

Zoredache Puntos 84524

No tengo una buena explicación, pero me puede confirmar los resultados.

Las pruebas de RAID (raid 5, 4x1.5 TB unidades)

root@enterprise:# hdparm -tT /dev/md2
/dev/md2:
 Timing cached reads:   2130 MB in  2.00 seconds = 1065.81 MB/sec
 Timing buffered disk reads:  358 MB in  3.00 seconds = 119.15 MB/sec
root@enterprise:# hdparm -tT /dev/md2
/dev/md2:
 Timing cached reads:   2168 MB in  2.00 seconds = 1084.54 MB/sec
 Timing buffered disk reads:  358 MB in  3.01 seconds = 119.10 MB/sec

prueba de volumen que se utiliza md2 como el dispositivo físico.

root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2078 MB in  2.00 seconds = 1039.29 MB/sec
 Timing buffered disk reads:  176 MB in  3.03 seconds =  58.04 MB/sec
root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2056 MB in  2.00 seconds = 1028.06 MB/sec
 Timing buffered disk reads:  154 MB in  3.03 seconds =  50.81 MB/sec

Hice el cambio propuesto por womble y vio los resultados como este.

root@enterprise:# blockdev --setra 8192 /dev/mapper/vg2-data

root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2106 MB in  2.00 seconds = 1053.82 MB/sec
 Timing buffered disk reads:  298 MB in  3.00 seconds =  99.26 MB/sec
root@enterprise:# hdparm -tT /dev/mapper/vg2-data
/dev/mapper/vg2-data:
 Timing cached reads:   2044 MB in  2.00 seconds = 1022.25 MB/sec
 Timing buffered disk reads:  280 MB in  3.03 seconds =  92.45 MB/sec

3voto

MikeyB Puntos 26178

Asegúrese de comparar manzanas con manzanas.

hdparm -t lee desde el inicio del dispositivo, que es también la parte más rápida del disco si que lo estás dando todo el disco (y discos giratorios).

Asegúrese de comparar con una LV desde el principio del disco.

Para ver la asignación de uso pvdisplay -m.

(bueno, concedido, la diferencia en los números puede ser insignificante. Pero al menos piensa en esto :)

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: