Skip to content

Ajout script pre import

Vincent Lara requested to merge ajout-script-pre-import into main

Contexte

Le contexte est décrit ici #36

En résumé on a parfois besoin de faire tourner un script de pre-import. On le fait à la main pour certaines données, mais ce n’est pas pratique pour des données ayant un grosse fréquence de mise à jour.

Contenu

On introduit dans la définition des datasets un nouveau champ script_pre_import, on écrit dans ce champ un script qui va être executer avant le load d’un jeu de données.

Je ne suis pas très satisfait de cette approche, elle est un peu trop hacky, mais je ne vois pas non plus de bonne alternative, je n’ai pas trouvé comment importer une classe depuis un fichier texte (en écrivant je me dis que ça pourrait peut être être fait en faisant quelque chose comme

exec("""
class A:
    pass
""")

). Dans une deuxième itération j’aurai envie d’avoir une fonction qui renvoie un nouveau fichier, mais cette approche à l’avantage de fonctionner assez rapidement, et de montrer quelque chose.

Merge request reports