Fonctionnalité #16693
fermé
[fulltext] Extraction fulltext
Ajouté par Cyril VAZQUEZ il y a plus de 3 ans.
Mis à jour il y a presque 3 ans.
Description
En tant que SA, je veux extraire le texte des documents numériques afin de les indexer sur leur contenu.
Détail
Il existe déjà une propriété archive.fulltextIndexation
L'option de niveau de service fulltextIndexation (extraction text intégral), lorsqu'activée, place simplement un indicateur à "vrai" sur cette propriété pour indiquer au système qu'une demande a été faite.
Il faut utiliser cette demande pour traiter par lot les archives marquées et extraire le texte de toutes les ressource originales contenues (pas les copies).
Il faut une configuration, comme pour la conversion
- les formats disponibles pour extraction (puid ou mimetype)
- un outil d'extraction pour une liste formats qui respecte une interface
Il faut intégrer un ou plusieurs outils d'extraction, en commençant par Apache Tika dont le plugin existe déjà (dependency\fileSystem\plugins\tika.php)
- Statut changé de A traiter à R&D - En test
À tester sur feat/16693_fulltext_extraction
Bien penser à modifier le fichier de configuration et à correctement configurer le chemin des executables tika. Le full test de ce ticket nécessite le téchargement d'apache tika (https://tika.apache.org/download.html) ainsi que de tesseract (https://github.com/tesseract-ocr/tesseract)
Implémentation de l'éextraciton plein texte ainsi que de son indexation
Possibilité de recher en plein texte via le parsage de fichiers texte ou d'image via les logiciels apache Tika ou Tesseract OCR (voir fichiers de configurations)
La route de test pour executer l'extraction plein texte est : maarchrm/recordsManagement/archives/extractfulltext
Il est nécessaire pour que le plein texte fonctionne que la détection de format soit activée et deja réalisée sur les ressources des archives
- Statut changé de R&D - En test à A livrer
- Projet changé de 252 à Backlog RM
- Version cible changé de Product Backlog à Inscription Backlog
- Fonction
Métadonnées supprimé
- Assigné à mis à Cyril VAZQUEZ
- Version cible changé de Inscription Backlog à 2.8
Gestion des flux non nominaux¶
Cas possibles
- pas de PUID renseigné sur l'archive
- pas de service d'extraction configuré pour le format (PUID) de l'archive
- erreur lors de l'extraction (service d'extraction retourne un code erreur)
Statuts possibles pour la propriété fulltextIndexation
- requested
- indexed
- skipped (2 premiers cas)
- error (tous autres cas)
Gestion des lots¶
Ajouter des paramètres dans le lancement pour
- nombre maxi à prendre en compte OU
- durée limite de traitement
Retour du traitement par lot¶
Retour
- read : nombre entré (lu, pris en compte)
- indexed : extrait/indexé
- skipped : passé
- error
Évolutions¶
Prévoir autre feature pour gérer le statut d'indexation et reprise sur erreur ou skipped
Prévoir fonctionnement serveur des outils d'extraction
- Statut changé de A livrer à R&D - En cours
- Assigné à
Cyril VAZQUEZ supprimé
- Echéance mis à 17/08/2021
- Statut changé de R&D - En cours à R&D - En test
Fix retrocompatibilité php8
Fix prise en compte des paramètres d'offset et de limit dans la fonction index de sdo
Feat : Ajout des paramètres limite de temps et maxResults dans les paramètres de la fonction d'extraction
Fix : Suppression de l'indexation fulltext des logs
À tester sur branche fix/16693_fulltext_extraction
- Assigné à mis à Alexandre GOLDSTEIN
- Echéance changé de 17/08/2021 à 07/09/2021
- Statut changé de R&D - En test à En cours
- Assigné à
Alexandre GOLDSTEIN supprimé
- Statut changé de En cours à R&D - En cours
- Statut changé de R&D - En cours à A livrer
- Tags RM 2.8.0 ajouté
A livrer + Documentation a réaliser, notamment sur la configuration et les paramètres pouvant être renseignés dans le planification.
Réflexion à poursuivre sur l'extraction du texte issu d'image de PDF scannés.
- Statut changé de A livrer à R&D - En cours
- Echéance changé de 07/09/2021 à 05/10/2021
- Statut changé de R&D - En cours à A livrer
documentation push sur 2.8
- Statut changé de A livrer à Clôturé
Formats disponibles : Atom
PDF