1 votos

Redes ópticas de Linux 10Gbe, ¿cómo diagnosticar problemas de rendimiento?

Tengo un pequeño grupo que consta de 3 servidores. Cada uno tiene dos 10Gbe SFP+ óptica tarjetas de red. Hay dos separados de 10 gbe de los interruptores. En todos los servidores de una NIC está conectado el interruptor 1, segunda NIC está conectado al switch 2 para proporcionar tolerancia a fallos.

Interfaces físicas se adhieren a nivel de servidor utilizando LACP.

Todos los servidores pueden hacer ping entre sí, pero en uno hay un pequeño (4%) de pérdida de paquetes (más de la servidumbre de la interfaz, que parece sospechosa para mí)

Cuando yo consulte con iperf3 tasas de transferencia entre dos servidores fiables, que muestran alrededor de 9.8 Gbit/s tasas de transferencia en ambas direcciones.

Esas dos buenas servidores también puede descargar desde la problemática también alrededor de 9.8 Gbit/s

Iperf3 mostrar cosa extraña cuando se ejecuta como cliente en el servidor problemático. Comienza con unos pocos cientos de megabits en el primer turno. Después la velocidad baja a 0 bit/s (mientras se ejecuta el comando ping de ICMP con ~96% de tasa de éxito). Sólo en una dirección. Cuando otros servidores de descarga a partir de esto, se consigue la máxima velocidad.

Todo se ejecuta en un mismo hardware, incluso la versión de firmware es el mismo (Dell R620 servidores, Mellanox ConnextX-3-EN NIC, Opton SPF+ módulos, Mikrotik CRS309-1 G-8 interruptores). También OS es la misma última versión estable de Debian con todas las actualizaciones y exacto de los paquetes instalados.

No hay ningún firewall, todas las reglas iptables se borran en todos los servidores

Sobre la problemática servidor de verificación de las interfaces, tanto NIC mostrar en marcha y funcionando en 10Gbit full duplex

También cat /proc/net/enlaces/bond0 mostrar ambas interfaces, activo, ningún vínculo físico errores

He comprobado/reemplazado SFP+ módulos, utilizados diferentes patch cords de fibra, probé diferentes puertos de switch y nada cambia, siendo esta una problemática servidor se baja la velocidad de descarga de los demás y de la pequeña pérdida de paquetes (más de la servidumbre de la interfaz!).

También traté de patch cable de combinaciones con: (ambos, en primer lugar, en segundo, primero, segundo). También sin cambio

Alguna idea de cómo puedo diagnosticar mejor?

1voto

Zac67 Puntos 181

A menos que los interruptores de apoyo de apilamiento y apoyo LACP a través de chasis, LACP no funciona de esa manera. De hecho, estática LAG de enlace no funciona bien.

En general, la agregación de enlace sólo funciona con una sola opuesto del interruptor (o una pila de actuar como él).

Con simple L2 redundancia, sólo puede ejecutar las Nic en pares activos/pasivos con conmutación por error. El uso de múltiples L3 vínculos con el adecuado equilibrio de carga y migración de la dirección IP de conmutación por error o control por parte de un equilibrador de carga externo, también trabajo en el escenario.

0voto

Dmitriy Kupch Puntos 101

Por favor vea mi respuesta aquí (no te olvides de golpe pulgar arriba si va a ser útil en su situación):

¿Por qué estoy sólo el logro de 2.5 Gbps más de un 10 gbe conexión directa entre 2 máquinas?

Es más, probablemente relacionados con la LRO GRO con gradas para RECIBIR la DESCARGA, que puede ser fácilmente desactivada. También hay una buena explicación de por qué sucede esto. Aquí: https://lwn.net/Articles/358910/

Optimización 10G interfaces de red es un tema enorme.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: