2 votos

XFS: es posible la asignación de memoria de interbloqueo en kmem_alloc

Estoy realizando un análisis de datos que implica la carga de una gran matriz de datos de ~112GB en un archivo asignado en memoria usando R lenguaje de programación, específicamente la bigmemory paquete (ver https://cran.r-project.org/web/packages/bigmemory/index.html). La matriz tiene 80664 columnas y 356751 filas.

Almacenamiento de datos consta de NFS para montar el sistema de ficheros XFS.

XFS opciones de montaje son:

xfs noatime,nodiratime,logbufs=8,logbsize=256k,largeio,inode64,swalloc,allocsize=131072k

NFS es la exportación de la FS con las siguientes opciones:

rw,async,no_subtree_check,no_root_squash

Cliente NFS es el de montar el FS el uso de estas opciones:

defaults,async,_netdev

Después de algún tiempo en la carga del archivo, el cálculo nodo deja de responder (incluyendo el resto de los nodos en el clúster) y el archivo de los registros del servidor de informes de errores siguientes:

XFS: possible memory allocation deadlock in kmem_alloc (mode:0x250)

Que puedo resolver, dejando de caché así:

echo 3 > /proc/sys/vm/drop_caches

El servidor de archivos tiene 16 GB de memoria.

Ya he leído a pesar de que el siguiente blog:

https://blog.codecentric.de/en/2017/04/xfs-possible-memory-allocation-deadlock-kmem_alloc/

Sin embargo, el problema no es debido a la fragmentación, como la fragmentación de la que se informó es inferior al 2% para el sistema de archivos que estoy escribiendo.

Así, debido a la XFS error anterior, supongo que el servidor de archivos se ejecuta fuera de la memoria ya que no se puede controlar el número de solicitudes de e / s expedido por la tarea a la mano.

Aparte de dejar caer la caché de forma periódica (por ejemplo. a través de cron), hay una solución más permanente a esto?

Gracias de antemano por la ayuda.

Edit: CentOS 7.2 el cliente y el servidor.

Edición #2: Núcleo 3.10.0-229.14.1.el7.x86_64 en el cliente y el servidor.

1voto

Tina Puntos 21

Creo que la actual revisión de CentOS 7 ha núcleo 3.10.0-693.2.2.el7 y más reciente XFS herramientas de espacio de usuario. ¿Hay alguna razón usted no está en una más reciente del sistema operativo? Las versiones que se especifica la fecha de regreso para el 2015.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: