Installations préalables

Agimus-NG utilise Elasticsearch, Logstash. Pour en savoir plus sur l'installation, consulter la page Installations requises sur le serveur Agimus-NG ou cliquez sur le bouton ci-dessous.

...

• récupérer les sources du projet sur github
• paramétrer les fichiers suivants (vous pouvez paramétrer au fur et à mesure de vos besoins) :
  • copie du fichier config-sample.py en config.py. Utilisé dans les traitements python
  • daily_batch.sh à lancer quotidien par cron pour effectuer les traitements
  • check_plugin_ldap.sh changer l'adresse de contact pour être prévenu en cas de mise à jour de logstash
  • traitements spécifiques à certains logs : scripts/moodle/*.py, scripts/traitement-ez*.sh, scripts/cron_stats_nc.sh, scripts/rocketchat-stats.sh
  • Configurations logstash appelant le ldap ou des bases externes
    • modulesBase/inputs/LDAP
    • gen_mappings/aff/0_LDAP
    • gen_mappings/vet-niveau/0_LDAP
    • gen_mappings/moodle_categories/0_jdbc
    • gen_mappings/vdi/0_LDAP
    • gen_mappings/vet/0_LDAP
    • gen_mappings/moodle_users/0_jdbc
    • moodle-from-db/0_jdbc
  • Copie du fichier frontal/config/config-sample.php en config.php pour le paramétrage du frontal
• Rapatrier les logs à traiter en vous aidant de la documentation ci-dessous
• Traiter ces logs grâce aux configurations logstash fournies que vous pourrez adapter
• Créer vos graphiques dans kibana pour visualiser les données générées

Rapatriement des logs

Pour lancer le traitement, il faut préalablement rapatrier les logs à traiter sur le serveur Agimus-NG

...

Nous allons voir et tester ci-dessous les premiers quelques traitements fournis par défaut dans le fichier.

export CONF_PATH="/opt/agimus/logstash"

cd /opt/agimus-ng/logstash
grep -rEl "CONF_PATH:'?/tmp" | xargs sed -E -i "s#CONF_PATH:'?/tmp'?#CONF_PATH:'/opt/agimus-ng/logstash'#"

Traitement du LDAP

Les informations qui vont enrichir les logs sont extraites quotidiennement du ldap et intégrer à Elasticsearch. A cette étape, vous devriez avoir déjà tester vérifié le bon fonctionnement de la récupération des informations ldap grâce à avec logstash en utilisant le fichier test-logstash.conf.

Le script de traitement quotidien daily_batch.sh contient les commandes ci-dessous pour :

...

curl -XDELETE 'http://localhost:9200/ldap/' # A ne pas faire la première fois car cette commande supprime l'index ldap
export CONF_PATH="./logstash"; scripts/logstash -f logstash/import-ldap     # import des données définies dans logstash/modulesBase/inputs/LDAP
python scripts/ldap-agg.py      # Génération de l'index ldap-stat qui décompte les populations par regroupement d'attributs

...

Il existe plusieurs autres exemples dans le fichier de traitement quotidien ainsi que des exemples de configuration dans le dossier logstash. Inspirez-vous en et n'hésitez pas à poser vos questions sur la liste de diffusion esup-utilisateurs

Points d'attention

Certains traitements ont des pré-requis. Vérifiez les points suivants si vous rencontrez des soucis lors de l'import de vos données :

• Avez-vous paramétré correctement la variable d'environnement CONF_PATH ? (cf la remarque de la section script_quotidien)
• Avez-vous généré ou créé les fichiers de mappings nécessaires à l'enrichissement des données ? Principalement utilisés par moodle, il vous faudra, au choix :
  • lancer les enrichissements du dossier gen_mappings pour générer les fichiers ou

  • désactiver l'enrichissement en commentant tout le bloc translate {…} de votre fichier de traitement

Traitement quotidien dans la crontab

...