Fonctionnalité #16693
fermé[fulltext] Extraction fulltext
Description
En tant que SA, je veux extraire le texte des documents numériques afin de les indexer sur leur contenu.
Détail
Il existe déjà une propriété archive.fulltextIndexation
L'option de niveau de service fulltextIndexation (extraction text intégral), lorsqu'activée, place simplement un indicateur à "vrai" sur cette propriété pour indiquer au système qu'une demande a été faite.
Il faut utiliser cette demande pour traiter par lot les archives marquées et extraire le texte de toutes les ressource originales contenues (pas les copies).
Il faut une configuration, comme pour la conversion
- les formats disponibles pour extraction (puid ou mimetype)
- un outil d'extraction pour une liste formats qui respecte une interface
Il faut intégrer un ou plusieurs outils d'extraction, en commençant par Apache Tika dont le plugin existe déjà (dependency\fileSystem\plugins\tika.php)
Mis à jour par Jérôme BOUCHER il y a plus de 3 ans
- Statut changé de A traiter à R&D - En test
À tester sur feat/16693_fulltext_extraction
Bien penser à modifier le fichier de configuration et à correctement configurer le chemin des executables tika. Le full test de ce ticket nécessite le téchargement d'apache tika (https://tika.apache.org/download.html) ainsi que de tesseract (https://github.com/tesseract-ocr/tesseract)
Implémentation de l'éextraciton plein texte ainsi que de son indexation
Possibilité de recher en plein texte via le parsage de fichiers texte ou d'image via les logiciels apache Tika ou Tesseract OCR (voir fichiers de configurations)
La route de test pour executer l'extraction plein texte est : maarchrm/recordsManagement/archives/extractfulltext
Il est nécessaire pour que le plein texte fonctionne que la détection de format soit activée et deja réalisée sur les ressources des archives
Mis à jour par Mathieu PIONNIER il y a plus de 3 ans
- Statut changé de R&D - En test à A livrer
Mis à jour par Emmanuel DILLARD il y a plus de 3 ans
- Projet changé de 252 à Backlog RM
- Version cible changé de Product Backlog à Inscription Backlog
- Fonction
Métadonnéessupprimé
Mis à jour par Cyril VAZQUEZ il y a plus de 3 ans
- Assigné à mis à Cyril VAZQUEZ
- Version cible changé de Inscription Backlog à 2.8
Mis à jour par Cyril VAZQUEZ il y a plus de 3 ans
Gestion des flux non nominaux¶
Cas possibles
- pas de PUID renseigné sur l'archive
- pas de service d'extraction configuré pour le format (PUID) de l'archive
- erreur lors de l'extraction (service d'extraction retourne un code erreur)
Statuts possibles pour la propriété fulltextIndexation
- requested
- indexed
- skipped (2 premiers cas)
- error (tous autres cas)
Gestion des lots¶
Ajouter des paramètres dans le lancement pour
- nombre maxi à prendre en compte OU
- durée limite de traitement
Retour du traitement par lot¶
Retour
- read : nombre entré (lu, pris en compte)
- indexed : extrait/indexé
- skipped : passé
- error
Évolutions¶
Prévoir autre feature pour gérer le statut d'indexation et reprise sur erreur ou skipped
Prévoir fonctionnement serveur des outils d'extraction
Mis à jour par Emmanuel DILLARD il y a plus de 3 ans
- Statut changé de A livrer à R&D - En cours
- Assigné à
Cyril VAZQUEZsupprimé
Mis à jour par Jérôme BOUCHER il y a plus de 3 ans
- Statut changé de R&D - En cours à R&D - En test
Fix retrocompatibilité php8
Fix prise en compte des paramètres d'offset et de limit dans la fonction index de sdo
Feat : Ajout des paramètres limite de temps et maxResults dans les paramètres de la fonction d'extraction
Fix : Suppression de l'indexation fulltext des logs
À tester sur branche fix/16693_fulltext_extraction
Mis à jour par Emmanuel DILLARD il y a plus de 3 ans
- Echéance changé de 17/08/2021 à 07/09/2021
Mis à jour par Emmanuel DILLARD il y a environ 3 ans
- Statut changé de R&D - En test à En cours
- Assigné à
Alexandre GOLDSTEINsupprimé
Mis à jour par Emmanuel DILLARD il y a environ 3 ans
- Statut changé de En cours à R&D - En cours
Mis à jour par Arnaud PAUGET il y a environ 3 ans
- Statut changé de R&D - En cours à A livrer
- Tags RM 2.8.0 ajouté
A livrer + Documentation a réaliser, notamment sur la configuration et les paramètres pouvant être renseignés dans le planification.
Réflexion à poursuivre sur l'extraction du texte issu d'image de PDF scannés.
Mis à jour par Emmanuel DILLARD il y a environ 3 ans
- Statut changé de A livrer à R&D - En cours
Mis à jour par Emmanuel DILLARD il y a environ 3 ans
- Echéance changé de 07/09/2021 à 05/10/2021
Mis à jour par Alexandre GOLDSTEIN il y a environ 3 ans
- Statut changé de R&D - En cours à A livrer
documentation push sur 2.8