52 votos

El canal de fibra óptica de larga distancia males

Necesito un nuevo par de ojos.

Estamos usando un 15 km de fibra óptica en línea a través de que canal de fibra y 10 gbe es multiplexado (pasivo óptico CWDM). Para el FC hemos de larga distancia láser adecuado de hasta 40 km (Skylane SFCxx0404F0D). El multiplexor está limitada por la Sfp que puede hacer máx. Canal de fibra de 4 gb. El conmutador FC es un Brocado serie 5000. Las respectivas longitudes de onda son 1550,1570,1590 y 1610nm para FC y 1530nm para 10GbE.

El problema es el 4GbFC telas casi nunca se limpia. A veces son por un tiempo, incluso con una gran cantidad de tráfico en ellos. A continuación, se puede, de repente, comienzan a producir errores (CRC RX, RX de codificación, RX disparidad,...), incluso con sólo un poco de tráfico en ellos. Estoy adjuntando algún error y el tráfico de gráficos. Los errores están actualmente en el orden de 50-100 errores por 5 minutos, cuando con 1 gb/s de tráfico.


Óptica

Aquí es la potencia de salida de un puerto resumen (recopilada mediante la sfpshow sobre los diferentes interruptores)

SITIO-unidades=uW (microvatios) SITIO-B
**********************************************
FAB1
SW1 TX 1234.3 RX 49.1 SW3 1550nm (ko)
 RX 95.2 TX 1175.6
FAB2
SW2 TX 1422.0 RX 104.6 SW4 1610nm (ok)
 RX 54.3 TX 1468.4 

Lo que me parece curioso en este punto es la asimetría en los niveles de potencia. Mientras SW2 transmite con 1422uW que SW4 recibe con 104uW, SW2 sólo recibe la SW4 señal con similar poder original sólo con 54uW.

Viceversa para SW1-3.

De todos modos la Sfp tiene sensibilidad de RX de hasta-18dBm (ca. 20uW) por lo que en cualquier caso debe estar bien... Pero no hay nada.

Algunos Sfp ha sido diagnosticado como averiado por el fabricante (el 1550nm que se muestra arriba con "ko"). El 1610nm queridos aparentemente están bien, que han sido probados usando un generador de tráfico. La línea arrendada también se ha probado más de una vez. Todo está dentro de las tolerancias. Estoy a la espera de que los reemplazos, pero por alguna razón yo no creo que va a hacer las cosas mejor de como las aparentemente buenas, no producen CERO errores.

Anteriormente fue activa de los equipos que intervienen (algún tipo de 4GFC retimer) antes de poner la señal en la línea. Ni idea de por qué. Que el equipo fue eliminado debido a los problemas por lo que ahora sólo tenemos:

  • la larga distancia láser en el interruptor,
  • (nuevo) 10 m LC-SC monomodo cable para el mux (para cada tejido),
  • la línea arrendada,
  • lo mismo pero a la inversa en el otro lado del enlace.


Conmutadores de FC

Aquí es un puerto de configuración desde el Brocado portcfgshow (es como que en ambos lados, obviamente)

Área Número: 0
Nivel de velocidad: 4G
Relleno De Palabras(En Activo) 0(Inactivo Inactivo)
Llenar Palabra(Actual) 0(Inactivo Inactivo)
AL_PA Offset 13: OFF
Tronco Puerto
De larga Distancia LS
VC Enlace Init OFF
Distancia Deseada De 32 Km
Reservados Los Búferes De 70
Bloqueado L_Port OFF
Bloqueado G_Port OFF
Movilidad E_Port OFF
Bloqueado E_Port OFF
ISL R_RDY Mode OFF
RSCN Suprimida OFF
Persistente Deshabilitar el APAGADO
LOS TOV habilitar el APAGADO
NPIV capacidad EN
QOS E_Port OFF
Puerto de desactivación Automática: OFF
Límite de tasa de descuento
EX Puerto
Espejo de Puerto
Recuperación de créditos EN
F_Port Búferes de APAGADO
La culpa de Retardo: 0(R_A_TOV)
NPIV PP Límite: 126
CSCTL mode: OFF

Obligando a los enlaces a 2GbFC no produce errores, pero hemos comprado 4GbFC y queremos 4GbFC.

error and traffic graphs

No sé a dónde mirar más. Alguna idea de lo que hacer a continuación o cómo proceder?

Si no se puede hacer 4GbFC trabajo de forma fiable me pregunto lo que la gente que trabaja con 8 o 16 años... yo no se supone que "algunos errores aquí y allá" son aceptables.

Ah, y por CIERTO, estamos en contacto con todo el mundo de los fabricantes (conmutador FC, MUX, Sfp, ...) Excepto por la Sfp para ser cambiado (algunas se han cambiado antes) nadie tiene una pista. El brocado de SAN de la Salud dice que la tela está bien. MUX, bueno, es pasivo, es sólo un prisma, la naturaleza en su mejor.

Cualquier disparos en la oscuridad?


APÉNDICE: Respuestas a sus preguntas

@Chopper3: Esta es la segunda generación de los Brocados que presenta el problema. Antes de que tuviéramos equipo 5000s, ahora tenemos 5100s. En el principio, cuando todavía teníamos los activos MUX alquilamos una larga distancia láser una vez para poner en el interruptor directamente con el fin de hacer pruebas de un día, durante el día del curso fue limpio. Pero como ya he dicho, a veces es limpio al igual que la. Y a veces no. Alternativa interruptores significaría para reconstruir la totalidad de la SAN con aquellos que sólo están a prueba. Alternativa Sfp, así que está difícil.

@longneck: La línea está alquilado. Es una fibra oscura (9um monomodo) así que no hay nadie más en ella. Seguro que hay empalmes. Yo no puedo ir y mirar, pero tengo que confiar en ellos se han realizado correctamente. Como me dijo que la línea ha sido revisado y revisado (el uso de una óptica time-domain reflectometer). Obviamente, usted no tiene todo este equipo de ti mismo, porque es demasiado caro.

@mdpc: Lo que sería el "mal" tipo de cable según usted? Hasta el interruptor de todo es monomodo, sí. Los conectores son los correctos. Sí, sé que existen los verdes, donde la fibra se cortan en un determinado ángulo, etc. Pero de que tiene la correcta para todos los que yo conozco.


Reporte De Progreso #1

Hemos tenido dos telas (=2x2 interruptores) con Brocado 5100s con FabricOS 6.4.1 y dos telas (otro 2x4 interruptores) en FabricOS 7.0.2.

En la larga distancia ISLs (uno en cada tejido) resultó que con FOS 6.4.1 configuración a larga distancia advertencias acerca de la VC de Inicialización de configuración y, en consecuencia, el relleno de la palabra. Pero esos son solo advertencias. FOS 7.0.2 requiere que usted haga modificaciones en la VCI y la fillword para enlaces a larga distancia.

Configuración de FOS 6.4.1 a la LS (de larga distancia estática distancia) ajuste con mal VCI y fillword ajuste que se ha realizado todo el tejido inoperational (atrapado en un SCN bucle, uso fabriclog -s a ver, que no se ve en ninguna otra parte, no hay ningún puerto contadores de errores ni nada de aumento).

Actualmente me estoy dando a la tela con el en mi humilde opinión más correcta configuración de una paliza, y parece que va bien, mientras que el otro, sin mucho tráfico todavía tiene errores aquí y allá.

progress1

En resumen:

  • Hemos eliminado la parte activa de los MUX (el FC retimer).
  • Estamos poniendo el de larga distancia de la Sfp en la final de equipos propios.
  • Sólo para estar seguro de que hemos comprado nuevo monomodo cables para conectar el equipo a la restante parte pasiva de los MUX.
  • Ahora estamos tratando de varios de larga distancia configs.

Es casi magia negra. Todo lo que sucede es que en su mayoría empíricos, nadie parece tener una idea de lo que son las razones para hacer algo. ("Hemos intentado esto, y no funcionó, entonces hemos intentado eso y funcionó, así que estamos atrapados con eso." Pero nadie parece saber por qué).

Voy a mantenerlo actualizado.


Reporte De Progreso #2

Tenemos los nuevos láseres de una de las telas en garantía. Es ultra limpio, incluso en 4GbFC.

Están transmitiendo con aproximadamente 2mW (3dBm), mientras que los otros sólo en el 1,5 mW (1.5 dBm) a pesar de que realmente debería ser suficiente.

La otra tela (donde los láseres son aparentemente ok) todavía se produce uno o dos de los Ccr con poca frecuencia.

El uso de sfpshow la SFP la producción de la real RX errores de muestra

Estado/Ctrl: 0x82
Alarma banderas[0,1] = 0 x 5, 0x40
Advertir a los Indicadores de[0,1] = 0 x 5, 0x40

Ahora voy a tener que averiguar lo que significa. No estoy seguro si es que había antes.

Bueno primera vez que voy a borrar de mi cabeza con una semana de vacaciones. 8-)

4voto

Marki Puntos 1418

Ok, creo que tengo que publicar una respuesta. En una palabra es: insistir.

El problema no se resuelve el 100% de mi agrado, como todavía tenemos una tela con 1 (un) error de CRC de forma esporádica. El otro es limpio. Pero puedo vivir con eso.

En cualquier caso, no vamos a continuar el uso de la CWDM unidades por un tiempo muy largo, pero en lugar de cambiar a un pasivo DWDM multiplexor próximo año como nuestra infraestructura va a cambiar mucho. Al parecer DWDM láseres son menos costosos que los CWDM. Oh, vamos a ver y tal vez voy a tener un montón de problemas para preguntarle :-)


Actualización Nope, se compró CWDM de nuevo, y realmente no es tan caro. AFAICS para ciertas aplicaciones, sin embargo, usted tiene que ir DWDM porque no hay CWDM láseres. Finalmente tratamos de llegar lo más cerca del fabricante como pudimos y toda la cosa llegó a aproximadamente 1/5 del precio en comparación con la compra de un distribuidor o incluso un integrador.


Así que puedo concluir, si usted compró una solución que no funciona como se esperaba: insistir. En el lado técnico hicimos dos cosas

  • quitar la parte activa de los MUX (no puedo decir que me arrepiento de eso, pero también no sé si esto fue, finalmente, otra fuente de error o no)
  • tiene la Sfp a fondo comprobado

(Y por supuesto todos los diagnósticos estándar, el cambio de una cosa a la vez, a ver qué pasa, etc, no es necesario decirte que. Así que nos fuimos cada línea y cable etc. también, lamentablemente, en nuestra cuenta).

En este caso se tomó un largo tiempo de insistir, pero finalmente llegamos al nivel en el que el propio fabricante ahorrado un par de personas y algunos equipos para realizar las comprobaciones que ayudó. Y, por supuesto, hemos tenido el integrador de pago que, desde nuestro hardware es de bajo mantenimiento. Así que esto era tanto un desafío comercial, ya que era un técnico.

PS. Ah, y, los indicadores que mencioné en mi última actualización, no indican nada malo, pero no recuerdo de qué se entiende exactamente. Cuando me encuentro con la declaración voy a actualizar la respuesta para la integridad' bien.


Al final, las banderas significaba algo malo después de todo. Al parecer, sin embargo, no está seguro de qué lado de la relación es la causa de los errores. Así que la pareja tiene que ser cambiado.

Ah, y por CIERTO, 8GbFC DWDM transceptores son sólo más barato en comparación con 8 G CWDM ;-) La manera más barata de ir es 4GbFC en CWDM y, a continuación, utilizar ISL trunking (si usted tiene la licencia)

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: