Transparents

Pourquoi faire ?
Jeudi 17 m ars 2016
Guillaume PHILIPPON
1
Pourquoi faire ?
Consolidation !
Jeudi 17 m ars 2016
Guillaume PHILIPPON
2
ELK
• Se compose de 3 produits différents
– Elasticsearch: base NoSQL
– Logstash: Parser de log
– Kibana: Interface web
Jeudi 17 m ars 2016
Guillaume PHILIPPON
3
Elasticsearch
• L’entrepot de donnée d’ELK
– Base NoSQL
– Clusterisable
– Optimiser pour la recherche de donnée
Jeudi 17 m ars 2016
Guillaume PHILIPPON
4
Logstash
• Permet de structurer les logs et les injecter dans Elasticsearch
– Fonctionne sous le principe de plugin
• Input (syslog / lumberjack)
• Filter (grok)
• Output (elasticsearch)
Jeudi 17 m ars 2016
Guillaume PHILIPPON
5
Logstash
• Permet de récupérer les logs
– Syslog
– Lumberjack
• Quelque soit la source
– Logstash-­‐forwarder
Jeudi 17 m ars 2016
Guillaume PHILIPPON
6
Logstash
• Permet de tagger les logs
– Basé sur des expressions régulières
– Peux utiliser des filtres externes pour rajouter de l’information (géolocalisation)
Jeudi 17 m ars 2016
Guillaume PHILIPPON
7
Logstash
• Injecte les informations dans Elasticsearch
– Mais pas que !
• Permet d’envoyer des mails d’alertes
• Sur le principe similaire aux tags
Jeudi 17 m ars 2016
Guillaume PHILIPPON
8
Jeudi 17 m ars 2016
Guillaume PHILIPPON
9
QUELQUES EXEMPLES DE CONFIGURATION
Jeudi 17 m ars 2016
Guillaume PHILIPPON
10
Accepter les connexions syslog
Jeudi 17 m ars 2016
Guillaume PHILIPPON
11
Envoyer les fichiers apache a logstash
Jeudi 17 m ars 2016
Guillaume PHILIPPON
12
Ecrire ses filtres
Jeudi 17 m ars 2016
Guillaume PHILIPPON
13
Utiliser les variables Jeudi 17 m ars 2016
Guillaume PHILIPPON
14
Geolocaliser une IP
Jeudi 17 m ars 2016
Guillaume PHILIPPON
15
Kibana
• Interface (web) d’affichage d’Elasticsearch
– Permet de faire des requêtes de recherche complexe plain text ou basé sur les index
– Permet de réaliser des dashboard pour afficher les informations de façon synthétique
Jeudi 17 m ars 2016
Guillaume PHILIPPON
16
Jeudi 17 m ars 2016
Guillaume PHILIPPON
17
Jeudi 17 m ars 2016
Guillaume PHILIPPON
18
Jeudi 17 m ars 2016
Guillaume PHILIPPON
19
Quelques retours
• Elasticsearch
– Base de donnée qui travaille énormement avec la mémoire de la machine
• 32 Giga minimum
• 100 Giga de log/jour
• Deteste le swap (swappiness, …)
• Logstash
– 100 règles différentes pour 3 services (mail / ssh / dhcp)
– Véritable casse-­‐tête organisationnel
• Toute l’utilisation (corrélation de log, …) découle de la façon dont on tag les logs
• Sinon on retrouve les mêmes travers de la gestion des logs centralisés
Jeudi 17 m ars 2016
Guillaume PHILIPPON
20
Reflexions en cours
• L’utilité des logs
– Analyse post-­‐mortem
– Monitoring de service
– Monitoring d’utilisation
• Aujourd’hui fait avec 3 outils différents
– ELK
– Nagios
– Ganglia/Cacti
Jeudi 17 m ars 2016
Guillaume PHILIPPON
21