Projet

Général

Profil

Anomalie #16513

[Versement ] Trop de fichiers ouverts lors du traitement des transferts

Ajouté par Cyril VAZQUEZ il y a environ 3 ans. Mis à jour il y a 28 jours.

Statut:
R&D - A étudier
Priorité:
2-Sérieux
Assigné à:
Version cible:
Début:
25/02/2021
Echéance:
Tags RM:

Description

Lorsque le service de traitement des bordereaux de transfert prend en charge un nombre important de ressources à déposer (beaucoup de bordereaux ou un bordereau avec beaucoup de fichiers joints), le processus se termine en erreur, indiquant que le nombre maximum de fichiers ouverts simultanément a été atteint.

Ce problème existe depuis que les échanges de données utilisent des pointeurs de fichier au lieu d'un chargement en mémoire.
Par défaut, la imite du nombre de fichiers ouverts simultanément (par fopen) par un processus est de 1024.

Il faut déjà donc prendre en compte cette limitation pour les lots importants en augmentant la limite système : https://www.tecmint.com/increase-set-open-file-limits-in-linux/

Nous devons aussi vérifier que les fichiers ouverts pour un bordereau sont fermés après traitement de celui-ci.
Le processus est le suivant:
- medona/archiveTransfer::processBatch()
pour chaque bordereau
- appelle process()
- medona/archiveTransfer::process()
pour chaque bordereau
- appelle le contrôleur d'empaquetage associé au schéma (SEDA2 par exemple) qui retourne un tableau d'archives (et leurs pointeurs de ressource) et un tableau de relations
- boucle sur les archives pour réaliser le dépôt
- boucle sur les relations pour les déclarer

Il faut vérifier que les pointeurs vers les ressources des archives soient fermés après dépôt.

Historique

#2 Mis à jour par Cyril VAZQUEZ il y a environ 3 ans

  • Sujet changé de [Versement ]Le traitement des transferts par lot ne ferme pas les fichiers à [Versement ] Trop de fichiers ouverts lors du traitement des transferts

#4 Mis à jour par Cyril VAZQUEZ il y a environ 3 ans

  • Description mis à jour (diff)

#5 Mis à jour par Arnaud PAUGET il y a environ 3 ans

  • Statut changé de A traiter à En cours

#6 Mis à jour par Arnaud PAUGET il y a environ 3 ans

  • Statut changé de En cours à En observation

#7 Mis à jour par Cyril VAZQUEZ il y a environ 3 ans

  • Statut changé de En observation à A traiter

#8 Mis à jour par Emmanuel DILLARD il y a presque 3 ans

  • Projet changé de Maarch RM - Product Backlog à Backlog RM
  • Version cible changé de 2.7 à 2.7
  • Fonction Versement supprimé
  • Extension/Module MEDONA supprimé

#9 Mis à jour par Emmanuel DILLARD il y a presque 3 ans

  • Statut changé de A traiter à R&D - A étudier

#10 Mis à jour par Emmanuel DILLARD il y a plus de 2 ans

  • Assigné à mis à Cyril VAZQUEZ
  • Priorité changé de 1-Majeur à 2-Sérieux

#11 Mis à jour par Cyril VAZQUEZ il y a plus d'un an

  • Version cible changé de 2.7 à 2.9.1

#12 Mis à jour par Cyril VAZQUEZ il y a plus d'un an

  • Version cible changé de 2.9.1 à 2.9.2

#13 Mis à jour par Cyril VAZQUEZ il y a plus d'un an

  • Version cible changé de 2.9.2 à 2.9.3

#14 Mis à jour par Cyril VAZQUEZ il y a plus d'un an

  • Version cible changé de 2.9.3 à 2.9

#15 Mis à jour par Cyril VAZQUEZ il y a 28 jours

  • Version cible changé de 2.9 à 3.X

Formats disponibles : Atom PDF