Projet

Général

Profil

Actions

Anomalie #16513

ouvert

[Versement ] Trop de fichiers ouverts lors du traitement des transferts

Ajouté par Cyril VAZQUEZ il y a presque 4 ans. Mis à jour il y a 9 mois.

Statut:
R&D - A étudier
Priorité:
2-Sérieux
Assigné à:
Version cible:
Début:
25/02/2021
Echéance:
Tags RM:

Description

Lorsque le service de traitement des bordereaux de transfert prend en charge un nombre important de ressources à déposer (beaucoup de bordereaux ou un bordereau avec beaucoup de fichiers joints), le processus se termine en erreur, indiquant que le nombre maximum de fichiers ouverts simultanément a été atteint.

Ce problème existe depuis que les échanges de données utilisent des pointeurs de fichier au lieu d'un chargement en mémoire.
Par défaut, la imite du nombre de fichiers ouverts simultanément (par fopen) par un processus est de 1024.

Il faut déjà donc prendre en compte cette limitation pour les lots importants en augmentant la limite système : https://www.tecmint.com/increase-set-open-file-limits-in-linux/

Nous devons aussi vérifier que les fichiers ouverts pour un bordereau sont fermés après traitement de celui-ci.
Le processus est le suivant:

  • medona/archiveTransfer::processBatch()
    pour chaque bordereau
    • appelle process()
  • medona/archiveTransfer::process()
    pour chaque bordereau
    • appelle le contrôleur d'empaquetage associé au schéma (SEDA2 par exemple) qui retourne un tableau d'archives (et leurs pointeurs de ressource) et un tableau de relations
    • boucle sur les archives pour réaliser le dépôt
    • boucle sur les relations pour les déclarer

Il faut vérifier que les pointeurs vers les ressources des archives soient fermés après dépôt.

Mis à jour par Cyril VAZQUEZ il y a presque 4 ans

  • Sujet changé de [Versement ]Le traitement des transferts par lot ne ferme pas les fichiers à [Versement ] Trop de fichiers ouverts lors du traitement des transferts

Mis à jour par Cyril VAZQUEZ il y a presque 4 ans

  • Description mis à jour (diff)

Mis à jour par Arnaud PAUGET il y a presque 4 ans

  • Statut changé de A traiter à En cours

Mis à jour par Arnaud PAUGET il y a presque 4 ans

  • Statut changé de En cours à En observation

Mis à jour par Cyril VAZQUEZ il y a presque 4 ans

  • Statut changé de En observation à A traiter

Mis à jour par Emmanuel DILLARD il y a plus de 3 ans

  • Projet changé de 252 à Backlog RM
  • Version cible changé de 2.7 à 2.7
  • Fonction Versement supprimé
  • Extension/Module MEDONA supprimé

Mis à jour par Emmanuel DILLARD il y a plus de 3 ans

  • Statut changé de A traiter à R&D - A étudier

Mis à jour par Emmanuel DILLARD il y a plus de 3 ans

  • Assigné à mis à Cyril VAZQUEZ
  • Priorité changé de 1-Majeur à 2-Sérieux

Mis à jour par Cyril VAZQUEZ il y a environ 2 ans

  • Version cible changé de 2.7 à 2.9.1

Mis à jour par Cyril VAZQUEZ il y a environ 2 ans

  • Version cible changé de 2.9.1 à 2.9.2

Mis à jour par Cyril VAZQUEZ il y a environ 2 ans

  • Version cible changé de 2.9.2 à 2.9.3

Mis à jour par Cyril VAZQUEZ il y a environ 2 ans

  • Version cible changé de 2.9.3 à 2.9

Mis à jour par Cyril VAZQUEZ il y a 9 mois

  • Version cible changé de 2.9 à 3.X
Actions

Formats disponibles : Atom PDF