18 votos

El sistema de archivos XFS recién creado muestra 78 GB utilizados

Tenemos un 12 TB RAID 6 raid que se supone que se configura como una sola partición con un XFS sistema de archivos. En la creación del nuevo sistema de archivos, que dice que tiene 78 GB en uso, pero no hay ningún archivo en la unidad.

[root@i00a ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs         32G     0   32G   0% /dev
tmpfs            32G     0   32G   0% /dev/shm
tmpfs            32G   11M   32G   1% /run
tmpfs            32G     0   32G   0% /sys/fs/cgroup
/dev/sdb3       154G  3.9G  150G   3% /
/dev/sdb2      1014M  153M  862M  16% /boot
/dev/sdb1       599M  6.7M  593M   2% /boot/efi
/dev/sdc1       187G  1.6G  185G   1% /var
tmpfs           6.3G     0  6.3G   0% /run/user/0
/dev/sda1        11T   78G   11T   1% /export/libvirt

Hice algo mal? Es por este diseño?

Parece que el sistema de archivo de registro sólo requiere de alrededor de 2 GB, y yo no puedo averiguar qué otra cosa podría estar utilizando el espacio.

[root@i00a ~]# xfs_info /export/libvirt/
meta-data=/dev/sda1              isize=512    agcount=11, agsize=268435455 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=2929458688, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=521728, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

Información de la partición:

[root@irb00a ~]# parted /dev/sda1
GNU Parted 3.2
Using /dev/sda1
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print
Model: Unknown (unknown)
Disk /dev/sda1: 12.0TB
Sector size (logical/physical): 512B/512B
Partition Table: loop
Disk Flags:

Number  Start  End     Size    File system  Flags
 1      0.00B  12.0TB  12.0TB  xfs

Este es un Dell FX2 con cuatro FC430 nodos de cálculo y dos FD332 nodos de almacenamiento, ejecutando Red Hat Enterprise Linux 8 (Ootpa).

24voto

Moshe Katz Puntos 520

Todos los sistemas de archivos tienen una sobrecarga de sus propias estructuras de datos internas. Esta información interna se utiliza para el sistema de archivos crear archivos y directorios en el futuro, y para seguir la pista de donde todo está asignado. Estos datos se conocen colectivamente como "metadatos". Datos de "acerca de" de los datos en el sistema de ficheros. Los metadatos se considera una sobrecarga, ya que ocupa espacio, pero no los datos del usuario. Esta sobrecarga es un efecto colateral inevitable de la utilización de cualquier sistema de ficheros.

De acuerdo a este blog, XFS tiene una sobrecarga de alrededor del 0,5% del total de espacio en disco. (Tenga en cuenta que este post es de 2009, pero no hay ninguna razón por la que este debería haber cambiado drásticamente). Él consiguió que el resultado de la prueba de sobrecarga del sistema de ficheros de más de una docena de diferentes sistemas de ficheros usando guestfish.

El 0,5% de su 12 tb de espacio es de 60 gb, por lo que parece que está bastante cerca de el uso esperado. Sospecho que su número debería haber sido ligeramente superiores a 0.5%, pero que era redonda.

2voto

frostschutz Puntos 121

Para XFS, el vacío, el sistema de archivos "Tamaño", como se muestra por df -h parece depender mucho de que las funciones de metadatos que permiten a mkfs.xfs de tiempo.

Prueba con un vacío 12TB de archivo:

# truncate -s 12TB xfstest.img

La configuración predeterminada (en mi actual sistema ArchLinux):

# mkfs.xfs xfstest.img 
meta-data=xfstest.img            isize=512    agcount=11, agsize=268435455 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=0
data     =                       bsize=4096   blocks=2929687500, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=521728, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
# mount -o loop xfstest.img loop/
# df -h loop/
Filesystem      Size  Used Avail Use% Mounted on
/dev/loop0       11T   12G   11T   1% /dev/shm/loop
# umount loop/

El uso de reflink=1:

# mkfs.xfs -m reflink=1 -f xfstest.img
meta-data=xfstest.img            isize=512    agcount=11, agsize=268435455 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=1, rmapbt=0
         =                       reflink=1
data     =                       bsize=4096   blocks=2929687500, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=521728, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
# mount -o loop xfstest.img loop/
# df -h loop/
Filesystem      Size  Used Avail Use% Mounted on
/dev/loop0       11T   78G   11T   1% /dev/shm/loop

El uso de crc=0, reflink=0: (por alguna razón, que también vuelve finobt=0, sparse=0)

# mkfs.xfs -m reflink=0 -m crc=0 -f xfstest.img 
meta-data=xfstest.img            isize=256    agcount=11, agsize=268435455 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0, sparse=0, rmapbt=0
         =                       reflink=0
data     =                       bsize=4096   blocks=2929687500, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=521728, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
# mount -o loop xfstest.img loop/
# df -h loop/
Filesystem      Size  Used Avail Use% Mounted on
/dev/loop0       11T   33M   11T   1% /dev/shm/loop

En resumen:

# df -h loop/
Filesystem      Size  Used Avail Use% Mounted on
/dev/loop0       11T   78G   11T   1% /dev/shm/loop (reflink=1, crc=1)
/dev/loop0       11T   12G   11T   1% /dev/shm/loop (reflink=0, crc=1)
/dev/loop0       11T   33M   11T   1% /dev/shm/loop (reflink=0, crc=0)

Así que "Utiliza" el espacio en un lugar fresco 12TB sistema de archivos es de 78 G, 12G o tan bajo como 33M dependiendo de las funciones de metadatos de habilitar al mkfs tiempo.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: