Skip to content

chore: refactor insitu import command

Yohan Boniface requested to merge simpler-archive into main

Deux changements dans cette PR:

  • suppression du fait de loguer et déplacer les fichiers d'un run dans un répertoire dédié au run (jamais utilisé depuis 6 mois que ça tourne);
  • possibilité de passer directement un fichier à la ligne de commande, quand on veut pouvoir importer un seul dataset sans avoir à itérer sur tout ce qu'il y a dans l'inbox

L'idée du premier changement est de simplifier le logging et l'archivage, notamment pour aligner avec l'idée de l'API http. En l'état, en guise de premier pas de simplification, tous les fichiers traités sont donc déplacés dans un unique dossier (contrôlé par ARCHIVEDIR), ce qui sera sans doute amené à évoluer.

Question: vu https://datahub.incubateur.tech/infrastructure/meta/-/issues/65 j'aurais pu mieux ranger les fichiers (par exemple dans un sous-dossier au nom du dataset, en faisant du ménage automatiquement), mais dans ce cas je ne savais pas quoi faire des fichiers traités qui n'appartiennent à aucun dataset: les déplacer dans un dossier dédié ? les garder en espérant qu'une mise à jour des specs finisse par en faire des candidats ? les supprimer tout simplement ?

Merge request reports