14 votos

Registro de transporte y de agregación a escala

Cómo estás análisis de archivos de registro de equipos UNIX/Linux? Podemos ejecutar varios cientos de servidores que generan sus propios archivos de registro, ya sea directamente o a través de syslog. Estoy buscando una solución digna para agregar estos y recoger los eventos importantes. Este problema se descompone en 3 componentes:

1) el transporte de Mensajes

El modo clásico es el uso de syslog para los mensajes de registro a un host remoto. Esto funciona bien para aplicaciones que iniciar sesión en syslog, pero menos útil para las aplicaciones que escribir a un archivo local. Soluciones para esto puede incluir tener el registro de aplicación en un sistema conectado a un programa para enviar el mensaje mediante syslog, o por escribir algo que se grep los archivos locales y enviar la salida a la central de syslog host. Sin embargo, si nos damos el trabajo de las herramientas de escritura para obtener los mensajes de syslog estaríamos mejor colocación de la totalidad del lote con algo como Facebook del Escribano , que ofrece más flexibilidad y fiabilidad de syslog?

2) Mensaje de agregación

Las entradas del registro parecen caer en uno de dos tipos: por host y por servicio. Por host mensajes son aquellos que se producen en una máquina; creo que los errores de disco o inicios de sesión sospechosos. Por servicio de mensajes que se producen en la mayoría o todos los hosts que ejecutan un servicio. Por ejemplo, queremos saber cuando Apache se encuentra un SSI error, pero no queremos el mismo error de 100 máquinas. En todos los casos, sólo queremos ver a uno de cada tipo de mensaje: no queremos que 10 mensajes diciendo el mismo disco ha fallado, y no queremos que un mensaje cada vez que una fractura de SSI es golpeado.

Un enfoque para la resolución de este es para agregar múltiples mensajes del mismo tipo en una sola en cada host, enviar los mensajes a un servidor central y, a continuación, agregar los mensajes del mismo tipo en una sola generales del evento. SER puede hacer esto, pero es incómodo de usar. Incluso después de un par de días de tocar el violín, yo solo tenía rudimentaria agregaciones de trabajo y constantemente tenía que buscar la lógica de la SER se utiliza para correlacionar eventos. Es potente pero cosas difíciles: necesito algo que mis colegas pueden recoger y utilizar en el menor tiempo posible. SER las reglas de no cumplir con ese requisito.

3) la Generación de alertas

¿Cómo podemos decirle a nuestros administradores, cuando algo interesante sucede? Correo del grupo de la bandeja de entrada? Inyectar en Nagios?

Así que, ¿cómo está la solución de este problema? No espero una respuesta en un plato; puedo trabajar en los detalles mí mismo, pero algunos de alto nivel de la discusión en lo que seguramente es un problema común sería genial. En el momento en que estamos usando una mezcla de trabajos de cron, syslog y quién sabe qué más para encontrar eventos. Esto no es extensible, de mantener o flexible y, como tal, echamos de menos un montón de cosas que no deberíamos.

Actualizado: ya estamos usando Nagios para monitorear lo que es ideal para detectados abajo equipos/servicios de pruebas/etc pero menos útil para el raspado de los archivos de registro. Sé que hay registro de plugins de Nagios pero estoy interesado en algo más escalable y jerárquica de cada host alertas.

5voto

Michael Twomey Puntos 1104

He utilizado tres sistemas diferentes para la centralización de los registros:

  1. Syslog/syslog-ng reenvío a un host
  2. Zenoss para la agregación de alertas y eventos
  3. Splunk para la agregación de registro y búsqueda

Para #3, yo normalmente uso syslog-ng para reenviar los mensajes de cada host directamente en splunk. También puede analizar los archivos de registro directamente, sino que puede ser un poco de un dolor.

Splunk es bastante impresionante para la búsqueda y categorización de los registros. No he utilizado splunk para el registro de alertas, pero creo que es posible.

5voto

Zooba Puntos 6440

Usted necesita mirar en un sistema de vigilancia, por ejemplo Zenoss Core. Entre otras cosas, se dice en la página de introducción:

Zenoss Supervisión de Eventos y Management ofrece la posibilidad de agregado de registro y la información de eventos de diferentes fuentes, incluyendo la disponibilidad de monitoreo, la supervisión del rendimiento, syslog fuentes, SNMP trap fuentes, registro de Eventos de Windows.

Ver lo que la herramienta de-hacer-que-uso-para-controlar-tu-servidores.

2voto

Guillaume Puntos 121

Usted puede tomar un vistazo a OSSEC, un completo de código abierto para el distribuidor, se hace el análisis de los registros y puede desencadenar acciones o enviar correo de alertas. Las alertas son trigered por un conjunto de simple XML basado en reglas, un montón de pre-definidas para los distintos formatos de registro se incluyen y usted puede agregar sus propias reglas

http://www.ossec.net/

1voto

GavinR Puntos 1708

Echa un vistazo a Octopussy. Es totalmente personalizable y parece responder a todas sus necesidades...

PS: yo soy el desarrollador de esta solución.

EnMiMaquinaFunciona.com

EnMiMaquinaFunciona es una comunidad de administradores de sistemas en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros sysadmin, hacer tus propias preguntas o resolver las de los demás.

Powered by: