Mise en base de données des indicateurs esup-portail

Généralités


La chaîne de traitement des indicateurs esup-portail ne proposait jusqu'à présent que des résultats permettant une analyse mensuelle des indicateurs ; des fichiers au format XML étaient produits, afin de générer des états statiques.

Il apparait que l'utilisation de résultats statiques est lourde et peu ergonomique.

Par ailleurs, il n'était pas possible de générer rapidement des informations statistiques sur des périodes autres que journalières ou mensuelles, ce qui est limitatif.

Afin d'apporter une plus grande souplesse dans la génération de rapport, il a été décidé d'enrichir une base de données avec les informations statistiques.

Dans un premier temps, pour permettre une mise en oeuvre rapide, rester compatible avec l'existant et récupérer l'historique, l'enrichissement de la base de données se fera à partir des fichiers xml générés par les outils précédents.

Si le besoin s'en fait sentir, un chantier sera lancé afin de proposer un nouvel outil d'exploitation des indicateurs esup-portail plus performant.

Principe


Une nouvelle étape a été rajoutée dans la chaine de traitement actuelle ( traiteStatsEsup.sh ) après la génération des 2 principaux fichiers xml (fichier des sessions et celui des services).

Consulter auparavant les documents décrivant le traitement des indicateurs de services et celui décrivant les indicateurs de session pour avoir une vue plus précise de ceux-ci et des fichiers utilisés en entrée et produits en sortie.

Les deux fichiers xml contiennent par défaut les informations statistiques pour le mois courant ; l'utilitaire de mise à jour de la base, DBmajIndics.pl reçoit en entrée ces 2 fichiers ainsi que des fichiers de paramètres, supprime de la base les enregistrements correspondant au mois enregistré dans les fichiers xml, et injecte les informations de ces fichiers.

Il est ainsi possible d'exécuter cete étable journalièrement, sans perturbations.

Voir le document détaillant le fonctionnement de l'utilitaire DBmajIndics.pl .

Schéma de la base


La base est simple ; elle reprend les informations contenues dans les 2 fichiers xml de servies et sessions.

En voici le schéma en format mysql, et celui en format postgree

A noter que la base peut être multi établissements, ceci pour traiter d'éventuelles agrégations de plusieurs ENT.

le champ 'cle' des tables etablissement , population et service sert de lien pour l'importation des données.

Initialisation de la base


L'utilitaire DBinit.pl permet d'intialiser ou de réinitialiser la base, à l'aide de fichiers de paramètres.

Voir le document décrivant son fonctionnement

Maintenance de la base


Changements d'intitulés

Les changements ultérieurs d'intitulés dans les tables etablissement, population et service se fait directement en requête SQL (champs nom_eta, nom_pop, nom_serv).

ajout d'un nouveau type de population ou d'un nouveau service

Par requête SQL sur les tables population ou service. Bien faire attention au contenu du champ 'cle', qui doit être identique à l'identifiant correspondant dans le fichier types.map ou services.map

Récupération de l'historique

Ce document donne  un exemple d'utilisation de ces outils pour initialiser la base à l'aide des fichiers xml de statistiques esup des mois et années précédentes.