file log analysis


El del análisis de los ficheros de log que suelen generarse por la actividad de los servidores en Internet se tienen que procesar para obtener el conocimiento que hay en los mismos. Estos ficheros son generados por el propio sistema operativo (p.e syslog), el servidor web, el servidor de correo, el servidor de nombres de dominio DNS, etc.

Resulta que se pueden utilizar técnicas de KDD (y específicamente Datamining) para extraer conocimiento de los ficheros de log. ¿Qué conocimiento? Pues por ejemplo patrones de uso de una sitio web, patrones de intrusión en un sistema, errores o mal funcionamiento de los servicios, …

He realizado una búsqueda en Google Scholar en busca de artículos científicos sobre el asunto. He detectado un autor llamado J. H. Andrews que tiene un montón de artículos publicados sobre el asunto (en especial, Theory and Practice of Log File Analysis (1998)) y la existencia de un lenguaje de alto nivel para el análisis de log (File Log Analysis Language)

Para el caso especial de los servidores web, existe una amplia variedad de software propietario y libre para realizar análisis dentro de lo que se llama web mining o web usage mining. Hay un artículo en ONLamp de O’Reilly donde se explica cómo realizar datamining en los archivos de log del servidor web Apache.

El mayor nivel de sofisticación con un uso intensivo de técnicas de datamining e inteligencia artificial se encuentra la iniciativa Autonomic Computing de IBM para el control automático de servicios y sistemas de computación con capacidad de autogestión.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s