8 votos

Accidente peor de SysAdmin

En línea con la pregunta acerca de la Mejor sysadmin accidente, ¿cuál es el peor accidente usted ha estado involucrado en? A diferencia de la pregunta anterior, me refiero a "peor", en el sentido de que la mayoría de los daños en el sistema o daño real a la gente.

Voy a empezar con el mío:

Tenemos dos remoto cableado de los armarios que están en la final de 100 pies del corredor que tiene una rejilla de metal para el piso. Después de que había Cat6 cable instalado, los contratistas limpiar todos los escombros que dejó caer a través de la rejilla para el hormigón de 3 metros más abajo. Un compañero de trabajo y yo entramos en el pasillo para comprobar el progreso de un día, pero estaban distraídos y no se dio cuenta que una parte de la reja había sido trasladado a un lado. Mi amigo se metió en el aire y su pecho se estrelló en el travesaño de acero. Estaba sin aliento y dolor lo suficiente como para tomar un par de días fuera, pero por suerte la viga de acero se había redondeado de los bordes y el tamaño de la apertura era tal que él no golpear su cabeza en la misma o en el piso de abajo.

Obviamente hemos aprendido que las áreas donde el suelo es removido parcialmente deben ser marcados.

25voto

Shlomi Fish Puntos 1951

Cuando yo trabajaba para Cisco, que he utilizado para conseguir que los clientes que habían comprado $30 tarjetas inalámbricas y que fueron escupir fichas, cuando su conductor no se instala, o las personas con el más barato más básica del router Cisco había que iba a despotricar y a delirar sobre temas de apoyo.

Esto fue todo por poner en contexto un día, cuando recibí una llamada de uno de los mayores proveedores de la tarjeta (creo Amex, Mastercard, Visa, Diners... de hecho fue una de esas marcas, no sé si les agradecería me mencionando). Yo estaba frente a la línea de apoyo, mi único trabajo fue evaluar el escenario, la tasa de él, y lo puso a través de la adecuada división de apoyo. Este fue el caso de Prioridad sólo Uno de los casos que he puesto a través de.

Un hombre de la compañía de la tarjeta de llamada y dijo que su enlace entre este y la costa oeste, NOS mainframes estaba abajo. Si se creó una cuenta en una unidad central, la transacción se procesa siempre en que la unidad central. Que estaba bien si su eslabón más cercano siempre estaba cerca para que mainframe. Pero en este día en particular, si usted tenía una cuenta en la costa este server, pero estaban en la costa oeste, la transacción sería denegado porque el link estaba abajo.

Pregunta estándar cuando la evaluación de los daños fue "¿cuánto es el costo de su negocio?" La respuesta, tranquilo y sereno, fue "Alrededor de un millón de dólares por cada 30 segundos".

Realmente la pone en contexto la próxima vez que se sienta tentado a despotricar y a delirar a soporte al cliente de más de $30 tarjeta inalámbrica.

(cabe señalar que Cisco tuvo su enlace en marcha y funcionando dentro de los 5 minutos de ser transferido)

10voto

chmeee Puntos 4555

Es muy común a los comandos alias como rm o mv añadir la '-i' opción para evitar errores. Pero esto sucedió hace un tiempo en mi empresa. Alguien pone esta línea en .bashrc de root en uno de los servidores.

alias rm='rm -i'

Luego copian el rm línea y sustituto de mv... o así pensaba:

alias rm='rm -i'
alias mv='rm -i'

El resto es historia :)

Bueno, la cosa es que cuando mv'ing la pregunta 'está seguro de' dijo 'quitar' en lugar de 'move' pero...

4voto

Beep beep Puntos 1167

Hemos sido la instalación de un enorme sistema de Punto de Venta en una gran minorista (más de 1000 sucursales). La central de votación servidor fue todo personalizado HP-Unix de código, y la prueba a la producción de migración fue manejado por un solo hombre - el hijo del Director.

Este chico pasó 7.95 horas de su día a la lectura de novelas de la Fantasía, y el otro par de minutos de su trabajo por lotes para migrar todas las noches se construye para la producción. El sistema fue de 3 días de ir a vivir a 150 de las ramas (nuestro primer "real" rollout). Todo fue creado, y mi equipo había terminado las pruebas de las últimas piezas de código. Estamos comprometidos a nuestros cambios y se trasladó a nuestras imágenes desde el desarrollo a la prueba para ser recogido por el Director de el hijo de la mañana siguiente.

Yo llegue a las 8:00am y todo es un caos. Resulta que el hijo había sido instruido que después de copiar los archivos a la producción, se suponía que debía ir en el ./cambiar carpeta y escriba "rm-rf *". Sí, alguien le dijo esto! Por supuesto, que accidentalmente se hizo presente en la root de producción de la unidad, que también se encuentra nuestra transaccional de sondeo de la base de datos (que pasó a estar fuera de línea para las copias de seguridad en el momento, sólo nuestra suerte).

Resultado: Nuestros 16 piloto tiendas tenían que servir a los clientes de cajas de cigarros (en algunos casos, literalmente) durante 2 días. El CIO del hijo fue degradado a Servidor Observador (se sentó en el frío de la sala del servidor y se suponía que iba a ver por las luces rojas ... pero él no estaba permitido tocar nada ... ni siquiera le dan una computadora y revocar todas sus inicios de sesión/correo electrónico). Nuestro equipo de desarrollo sacó un todo-nighter la reconstrucción de la pérdida de datos desde las copias de seguridad y la repetición de pruebas/volver a enviar el código.

Nosotros por suerte hizo que el 150 rama de implementación, pero fue la peor de implementación de la experiencia de los siglos.

2voto

chmeee Puntos 4555

En volver a instalar el sistema operativo de la laptop para un administrador, alguien hizo una copia de todo de datos por la red a una estación de linux en/tmp. Hubo algunos problemas y tardó más de un día.

... la estación linux estaba parada al final del día...

Al día siguiente, cuando fueron a buscar los datos del administrador de la...

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: