Logfile-Analyse mit Elasticsearch, Logstash und Kibana

Inhalt:

Viele System-Administratoren heterogener Umgebung haben es mit Unmengen an Protokoll-Daten verschiedenster Systeme zu tun, die diese in unterschiedlichen Formaten speichern. Tritt ein Fehler auf, sind diese Logfiles oft der einzige Zugang zur Problem-Ursache. Gerade bei hunderten von Servern ist deren manuelle Analyse und Korrelation über verschiedene Systeme hinweg immens zeitaufwendig.

Beschäftigt sich ein Administrator nun mit effizienteren Wegen, sich einen Überblick über diese Daten-Mengen zu verschaffen, findet er eine ganze Reihe unterschiedlicher Software-Lösungen, deren Hersteller oder Entwickler anpreisen, das Problem zu lösen. Ein konzentrierter Überblick über deren Merkmale sowie Vor- und Nachteile fehlt jedoch.
Der Kurs hat den Zweck, diese Lücke zu schließen, und ermöglicht den Teilnehmern, verschiedene Lösungen Hands On anzuschauen.

Einführung:

• Traditionelle Ansätze Protokolle zu analysieren
• Was für Probleme gibt es damit?
• Wie löst Logfile-Analyse diese?

Konzepte und Begriffe:

• Der Weg einer Protokoll-Meldung
• Das JSON-Format
• Rest API
• Sinnvolle Kombinationen und integrierte Lösungen
• Der Elastic Stack: Logstash + Elasticsearch + Kibana
• Fluentd + Elasticsearch + Kibana
• Graylog

Gängige Log-Quellen:

• Syslog
• Elastic Beats und Fluent Bit
• Webserver, MariaDB, PostgreSQL
• Netzwerk-Komponenten
• Windows Event Log, Windows-Dienste

Transport von Protokoll-Meldungen:

• Logstash
• Fluentd
• Graylog
• Rsyslog

Speicherung mit Elasticsearch:

• Einzeln und als Cluster

Monitoring mit Cerebro und Kibana:

• Performance-Aspekte
• Aufräumen mit Index Lifecycle Management
• Backup

Suche:

• Lucene
• Kibana Query Language
• Graylog

Oberflächen:

• Kibana
• Graylog

Ziel:

Der Kurs gibt eine Übersicht über gängige Software-Lösungen, um im Betrieb anfallende Protokoll-Daten zu transportieren, zu speichern und auszuwerten. Das beispielhafte Einrichten und Vergleichen der besprochenen Werkzeuge anhand verschiedener Einsatz-Szenarien ermöglicht einen Überblick über deren Möglichkeiten und Einschränkungen. Der Kurs schließt mit einem Fazit mit Empfehlungen für unterschiedliche Anwendungsfälle.

Zielgruppe:

Linux / Windows Systemadministratoren, Administratoren von heterogenen
Umgebungen mit vielen unterschiedlichen Protokoll-Formaten.

Voraussetzungen:

Gute Kenntnisse mit der jeweiligen System-Administration. Grundkenntnisse zum Arbeiten mit der Befehlszeile von Linux. Netzwerk-Grundkenntnisse.