CentralStation - Loganalyse für Rechenzentren

Rechenzentrumsautomation ist ein wichtiger Bestandteil eines sicheren Betriebs von Servern und Infrastruktur. Während bei Provisioning und Changemanagement viele ausgereifte Open-Source-Lösungen zur Verfügung stehen (Puppet, Ansible, Salt), der der Administratorin von heute das Leben durch Zentralisierung und Automation erleichtern, waren im Bereich "Zentraler Logstore" lange Zeit nur Bezahllösungen verfügbar, die ein angenehmes Arbeiten, grafische Analyse, Log-Korrealation und Log-Suche RZ-weit ermöglichten.

Glücklicherweise hat sich die Lage in den letzten Jahren gändert, und mit dem sog ELK-Stack (Elasticsearch, Logstash, Kibana) steht eine Lösung zur Verfügung, die sehr einfach auszurollen ist und Spaß macht.

Der Workshop/Vortrag gliedert sich in 3 Teile, die das Potential, Einsatzszenarien und Tuning der ELK-Lösung vorstellen und anhand von Live-Beispielen verdeutlichen sollen. Im ersten Teil wird gezeigt, wie der ELK-Stack grundsätzlich ausgerollt wird, welche Tools man zum zentralen Sammeln der Logs benötigt (sog. Logshipper), wie mit Logstash Logfiles für das Speichern in Elasticsearch aufbereitet. Ausserdem werden ein paar Tricks gezeigt, um die ansonsten sehr offene Kibana/Elasticsearch - Installation mit einer webserverbasierten Authentifizierung und Zugriffsschutz zu versehen.

Der zweite Teil behandelt die Loganalyse mit Kibana, Erstellen eigener, themenbasierter Dashboards und Möglichkeiten, anhand der vorliegenden Daten eigene Sensoren zu programmieren, die in Echtzeit bei bestimmten Ereignissen alarmieren. Ein Einblick in unsere Dashboards bietet unser Showroom: https://8ack.de/showroom/centralstation

Der dritte Teil behandelt Skalierung, Ausbau und Loadbalancing, um mehr als 50.000 Loglines/Sekunde verarbeiten und performant darstellen zu können. Neben den sehr praxislastigen Themen wird genug Zeit für Fragen, Live-Demos und Hands-On bleiben.

Referent:

Markus Manzke konzipiert, betreut, schütz und hackt seit 1998 Webserver-Infrastrukturen von klein bis mittelgroß. Als aktives Mitglied der Naxsi- und OSSEC-Community entwicklet er in Rahmen seiner Arbeit bei 8ack aktuelle Regelsätze für WAFs und OSSEC (Doxi-Rules) und ist als technischer Lead für die Entwicklung von Nginx-Modulen verantwortlich. Im Rahmen der 8ack-Honeypot-Infrastruktur kommt der ELK-Stack zur Auswertung, Alarmieung und Analyse zum Einsatz und ist mittlerweile soweit ausgebaut, dass 10 Mio Loglines/Sekunde verarbeitet werden können.

Link zum Repo mit den Tools zum Vortrag:
https://8ack.de/slac-2015