Faire évoluer l'API d'insitu pour permettre le chargement des données avec un champs non présent dans le fichier en mode append
Contexte
pour importer les données PVD du T1 2023, on voudrait permettre ce genre de comportement :
suivi_PVD_T4_2022.xlsx
PVD | valeur |
---|---|
1 | 23 |
2 | 40 |
3 | 0 |
suivi_PVD_T1_2023.xlsx
PVD | valeur |
---|---|
1 | 25 |
2 | 50 |
3 | 10 |
dans postgreSQL : suivi_pvd
PVD | valeur | trimestre |
---|---|---|
1 | 23 | 2022T4 |
2 | 40 | 2022T4 |
3 | 0 | 2022T4 |
1 | 25 | 2023T1 |
2 | 50 | 2023T1 |
3 | 10 | 2023T1 |
Pour n'avoir qu'"à" rajouter des filtres sur la colonne trimestre sur les indicateurs dans Metabase
Besoin
On aimerait faire évoluer l'API d'insitu pour permettre :
1_ de déclarer des colonnes de type "à spécifier à l'import" / "tofill" dans le schéma des jeux de données. 2_ de spécifier ces valeurs manuellement lors de l'import d'un fichier
Notes pour l'implémentation (à creuser)
_ on pourrait utiliser le transform step field-add
de frictionless ? on favorise cette piste a priori même si on ne peut pas l'utiliser tel quel et qu'il faudra peut etre en implementer une extention.
_ si on est des gros geeks, on peut définir deux ressources dans le yaml - un "FileResource" et un "JSONResource" qui récupère l'appel API ? ensuite, on produit une nouvelle resource avec les fields des deux premières resource