Gestion des historiques dans insitu-etl et insitu-metrics
Historisation des indicateurs
-
⚙ on veut faire des snapshots/instantanés sur les valeurs des indicateurs tous les jours à minuit
pour pouvoir facilement
-
⚙ on veut historiser les definitions d’indicateurs (techniquement on le fait deja via Gitlab, mais on s'est dit qu'on aimerait le faire aussi dans un format plus facile à manipuler par exemple directement dans notre base PostgreSQL (en stockant la définition d'indicateurs dans une colonne JSON pour permettre à notre standard de continuer à évoluer))
Historisation des jeux de données
-
✅ soit on a déjà une colonne avec des dates et on peut filtrer dessus à la requête (par exemple, la donnée du PICT dans Grist contient 5 colonnes "date" différentes)
-
⚙ pour le cas ou un flux de données est stable et peut être historisé facilement (par exemple les données de suivi FTHD) on envisage de créer un mode “append” dans insitu
-
⚙ dans tous les cas, on voudrait stocker chaque nouvelle version des fichiers importés dans
archive/
(aujourd’hui il semble que seul le dernier fichier importé y soit stocké) avec ses métadonnées à côté ce qui nous permettra de retrouver et réimporter une ancienne version du jeu de données si besoin.