14 votos

HP DL380p Gen8 (p420i controlador) I/O rareza en XFS particiones

En DL380p gen8 usar XFS en la parte superior de LVM en la parte superior de raid 1+0 con 6 discos, con idéntica carga de trabajo resulta en un incremento de diez veces en las escrituras en disco en red hat enterprise linux 6 en comparación con RHEL 5, haciendo que las aplicaciones inservibles.

Tenga en cuenta que no estoy buscando la optimización de los co6 sistema tanto como sea posible, pero a la comprensión de por qué co6 se comporta de manera totalmente distinta, y de problemas.

vmstat/iostat

Tenemos una replicación MySQL instalación, el uso de mysql 5.5. Mysql servidores gen8 el uso de red hat enterprise linux 6 como sistema operativo realizar el mal, inspección con vmstat y iostat muestra que estos servidores de diez veces la página de la actividad y diez veces la cantidad de escrituras en el subsistema de disco. blktrace muestran que estas escrituras no son iniciados por mysql, pero por el kernel.

Centos 5:

[dkaarsemaker@co5 ~]$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0     12 252668 102684 10816864    0    0     8   124    0    0  9  1 90  0  0
 1  0     12 251580 102692 10817116    0    0    48  2495 3619 5268  6  1 93  0  0
 3  0     12 252168 102692 10817848    0    0    32  2103 4323 5956  6  1 94  0  0
 3  0     12 252260 102700 10818672    0    0   128  5212 5365 8142 10  1 89  0  0

[dkaarsemaker@co5 ~]$ iostat 1
Linux 2.6.18-308.el5 (bc290bprdb-01.lhr4.prod.booking.com)  02/28/2013

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           8.74    0.00    0.81    0.25    0.00   90.21

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      277.76       399.60      5952.53 2890574849 43058478233
cciss/c0d0p1      0.01         0.25         0.01    1802147      61862
cciss/c0d0p2      0.00         0.01         0.00     101334      32552
cciss/c0d0p3    277.75       399.34      5952.52 2888669185 43058383819
dm-0             32.50        15.00       256.41  108511602 1854809120
dm-1            270.24       322.97      5693.34 2336270565 41183532042

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           7.49    0.00    0.79    0.08    0.00   91.64

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      300.00        32.00      4026.00         32       4026
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    300.00        32.00      4026.00         32       4026
dm-0              0.00         0.00         0.00          0          0
dm-1            300.00        32.00      4026.00         32       4026

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           4.25    0.00    0.46    0.21    0.00   95.09

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      507.00       160.00     10370.00        160      10370
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    507.00       160.00     10370.00        160      10370
dm-0              0.00         0.00         0.00          0          0
dm-1            507.00       160.00     10370.00        160      10370

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           5.33    0.00    0.50    0.08    0.00   94.09

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
cciss/c0d0      318.00        64.00      4559.00         64       4559
cciss/c0d0p1      0.00         0.00         0.00          0          0
cciss/c0d0p2      0.00         0.00         0.00          0          0
cciss/c0d0p3    319.00        64.00      4561.00         64       4561
dm-0              0.00         0.00         0.00          0          0
dm-1            319.00        64.00      4561.00         64       4561

Y en Centos 6, un incremento de diez veces en la pagina de disco y escribe:

[root@co6 ~]# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0 361044  52340 81965728    0    0    19  1804   36  110  1  1 98  0  0  
 0  0      0 358996  52340 81965808    0    0   272 57584 1211 3619  0  0 99  0  0  
 2  0      0 356176  52348 81966800    0    0   240 34128 2121 14017  1  0 98  0  0 
 0  1      0 351844  52364 81968848    0    0  1616 29128 3648 3985  1  1 97  1  0  
 0  0      0 353000  52364 81969296    0    0   480 44872 1441 3480  1  0 99  0  0  

[root@co6 ~]# iostat 1
Linux 2.6.32-279.22.1.el6.x86_64 (bc291bprdb-01.lhr4.prod.booking.com)  02/28/2013  _x86_64_    (32 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.08    0.00    0.67    0.27    0.00   97.98

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             373.48      1203.02    115203.05   11343270 1086250748
dm-0             63.63        74.92       493.63     706418    4654464
dm-1            356.48      1126.72    114709.47   10623848 1081596740

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.25    0.00    0.19    0.06    0.00   99.50

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             330.00        80.00     77976.00         80      77976
dm-0              0.00         0.00         0.00          0          0
dm-1            328.00        64.00     77456.00         64      77456

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.38    0.00    0.19    0.63    0.00   98.81

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             570.00      1664.00    128120.00       1664     128120
dm-0              0.00         0.00         0.00          0          0
dm-1            570.00      1664.00    128120.00       1664     128120

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.66    0.00    0.47    0.03    0.00   98.84

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda             317.00       448.00     73048.00        448      73048
dm-0             34.00         0.00       272.00          0        272
dm-1            309.00       448.00     72776.00        448      72776

Estrechamiento hacia abajo

Gn 8 servidores con red hat enterprise linux 5, y gn 7 servidores con red hat enterprise linux 5 o 6 no se muestran este problema. Además, red hat enterprise linux 6 con ext3 en lugar de nuestro por defecto xfs no muestra el problema. Realmente el problema parece estar en algún lugar entre XFS, gen8 de hardware y centos 6. RHEL 6 también muestra el problema.

Editar 29/04: hemos añadido HBA qlogic t el G8 de la máquina. El uso XFS en almacenamiento de canal de fibra, no se muestra el problema. Así que definitivamente en algún lugar en la interacción entre xfs/hpsa/p420i.

XFS

El más reciente xfs en rhel 8 parece ser capaz de detectar subyacente ancho de franja, pero sólo en p420i controladores usando el hpsa conductor, no p410i controladores usando cciss.

xfs_info de salida:

[root@co6 ~]# xfs_info /mysql/bp/
meta-data=/dev/mapper/sysvm-mysqlVol isize=256    agcount=16, agsize=4915136 blks
         =                       sectsz=512   attr=2
data     =                       bsize=4096   blocks=78642176, imaxpct=25
         =                       sunit=64     swidth=192 blks
naming   =version 2              bsize=4096   ascii-ci=0
log      =internal               bsize=4096   blocks=38400, version=2
         =                       sectsz=512   sunit=64 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

sunit/swidth son ambos 0 en toda la instalación marcado como ACEPTAR anteriormente. Parece ser que tenemos incapaz de cambiar esto, ya sea en mkfs o con el noalign opción de montaje. Tambien no sé si esta es la causa.

Hugepages

Otras personas con XFS problemas en rhel 6, decir que la desactivación de las páginas gigantes, y especialmente transparente hugepages puede ser beneficioso. Nos movilidad tanto, la problema no desaparece.

Hemos probado y visto muchas cosas ya, ninguno de los siguientes han ayudado:

  • El uso de numactl para influir en las asignaciones de memoria. Nos dimos cuenta de que el g7 y g8 tienen diferentes numa diseño, no se observó ningún efecto
  • Los núcleos nuevos (como nuevos 3.6) no parecen solucionar esto. Tampoco el uso de fedora 17.
  • iostat no informa de un incremento de diez veces en las transacciones de escritura, sólo en número de bytes escritos
  • El uso de diferentes I/O programadores no tiene ningún efecto.
  • Montaje del pertinente sistema de ficheros noatime/nobarrier/nopdiratime no ayuda
  • Cambio de /proc/sys/vm/dirty_ratio no tuvo ningún efecto
  • Esto sucede tanto en los sistemas basados en 2640 y 2670 CPU del
  • hpsa-3.2.0 no soluciona el problema

7voto

Tina Puntos 21

XFS y EL6 han caído en un horrible estado... he abandonado XFS en EL6 de los sistemas, por el momento, debido a varias aguas arriba de características y cambios que se desliza en el kernel de Red Hat...

Esta fue una sorpresa y causó algunas de pánico: ¿por Qué mis sistemas de ficheros XFS de repente consumiendo más espacio y completa de los archivos dispersos?

Desde noviembre de 2012, el XFS versión de envío en los núcleos más recientes que 2.6.32-279.11.1.el6 tienen una molesta carga y el problema de rendimiento derivadas de Red Hat Bugzilla 860787. Desde entonces, he tenido impredecibles en el rendimiento y mayor ejecutar las colas de la media.

Para los nuevos sistemas, estoy usando ZFS o simplemente ext4. Para los sistemas más antiguos, me estoy congelando en 2.6.32-279.11.1.el6.

Intente volver a esa versión con:

yum install kernel-2.6.32-279.11.1.el6.x86_64

En adición a lo anterior, debido a que el tipo de controlador RAID que usted está usando, la típica optimizaciones están en orden:

Montar los sistemas de ficheros XFS noatime. También debe aprovechar la Sintonía marco con:

tuned-adm profile enterprise-storage

para establecer readahead, nobarrier y de I/O ascensor para una buena línea de base.


Editar:

Hay un montón de recomendaciones que rodea el sistema de ficheros XFS optimización. He utilizado el sistema de ficheros exclusivamente para la última década y han tenido de vez en cuando ajuste los parámetros como los cambios subyacentes en el sistema operativo se produjo. No he experimentado una dramática disminución del rendimiento, como la suya, pero yo también no uso de LVM.

Creo que es razonable esperar que EL5 para actuar de la misma manera como EL6, dado el kernel diferente generación, compilado valores predeterminados, programadores, paquetes, etc.

¿Qué podría yo hacer en este momento??

  • Me gustaría examinar el mkfs.xfs parámetros y cómo está la construcción de los sistemas. Está usted usando XFS particiones durante la instalación o creación de las particiones después de los hechos? Hago la creación del sistema de ficheros XFS, seguir la instalación del sistema operativo, porque tengo más flexibilidad en los parámetros dados.

  • Mi mkfs.xfs creación parámetros son simples: mkfs.xfs -f -d agcount=32 -l size=128m,version=2 /dev/sdb1 , por ejemplo.

  • Mis opciones de montaje son: noatime,logbufs=8,logbsize=256k,nobarrier me permitiría el XFS dinámica preallocation para ejecutar de forma nativa y no se limitan al igual que usted tiene aquí. Mi rendimiento mejoró con él.

  • Así que yo no uso de LVM. Especialmente en la parte superior de RAID de hardware... Especialmente en HP Smart Array controladores, donde hay algunos LVM-al igual que las funciones nativas del dispositivo. Sin embargo, el uso de LVM, usted no tiene acceso a la fdisk cruda en la creación de la partición. Una cosa que ha cambiado de EL5 para EL6 es la alineación de la partición en el instalador y los cambios de fdisk para ajustar el tiempo de inicio del sector en un límite de cilindro.

  • Asegúrese de que está ejecutando el HP Smart Array controladoras y unidades en el actual nivel de revisión. En ese punto, tiene sentido para la actualización de la totalidad de servidor a la actual de HP Service Pack para ProLiant revisión de firmware. Este es un DVD de arranque que va a actualizar todos detectado los componentes en el sistema.

  • Me gustaría comprobar la configuración de la controladora RAID. Pastebin la salida de hpacucli ctrl all show config detail. He aquí la mía. Quieres un caché relación sesgada hacia escribe frente a lee. 75:25 es la norma. El valor predeterminado de la tira de tamaño de 256 KB debería estar bien para esta aplicación.

  • Me gustaría potencialmente intente esto sin LVM.

  • ¿Cuáles son sus sysctl.conf parámetros?

1voto

mjiang Puntos 11

Hemos tenido el mismo tema, y descubrí que es debido a XFS registro de cambio de versión. Versión 2 los registros de honor el ancho de franja utilizada con mkfs.xfs. Si usted hace un montón de fsync, su tarjeta raid no puede falsos los registros escribe más. Usted puede probar el formato de la partición sin ningún swidth(no hace ninguna diferencia con RAID 1+0). Se puede comprobar que con blktrace/seekwatcher para ver si se trata de un montón de registro de actualización.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: