Skip to content

Draft: Modifie 'make fetch' pour ne récupérer que le dernier fichier importé

Ronan Amicel requested to merge fix-make-fetch into main

Depuis qu’on archive les versions successives des fichiers importés, le dossier archive contient un grand nombre de fichiers, et on ne veut pas les récupérer tous.

Le fonctionnement de make fetch est maintenant le suivant :

  • lister les tables des jeux de données ne pouvant pas être moissonnés (car pour ceux-là on fera un insitu harvest)
  • demander au serveur le fichier le plus récent dans le sous-répertoire de archive correspondant à ce jeu de données
  • récupérer chaque fichier par rsync, en le renommant pour retire le timestamp
  • faire un insitu import sur le fichier ainsi récupéré
Edited by Ronan Amicel

Merge request reports