Backlog Courrier

Tests de l'import d'un fichier de 500Mo avec le module MaarchWSClient :

• Test du paramétrage avec un fichier de 1Mo => import dans MaarchCourrier fonctionnel
• Test avec le fichier de 500Mo => différentes erreurs liées à la config de php.ini retournées, après modification du post_max_size, upload_max_filesize et memory_size, aucune erreur retournée dans :
  logs apache, logs php, logs technique et php de MaarchCourrier et logs de MaarchCapture,

La seule information retournée est lors de l'exécution du script de Capture :

********************************************************************************
**                                Maarch Capture                              **
**  (c) since 2008 Maarch SAS                                                 **
********************************************************************************
[...]
Workflow initialized with id 'WMAARCH_SCAN_TO_MC-1624442042-1369719840'
Get first workflow step name...
Next step name is 'ImportFiles'
MaarchCapture step inputs: Array
(
    [0] => Directory
    [1] => Target
    [2] => Action
    [3] => MoveDirectory
)

MaarchCapture step: Array
(
    [positional] => Array
        (
        )

    [executable] => MaarchCapture.php
    [command] => Array
        (
            [opts] => Array
                (
                    [positional] => Array
                        (
                        )

                    [ConfigName] => Capture
                    [executable] => init
                    [BatchName] => MAARCH_SCAN_TO_MC
                )

            [name] => init
        )

)

Capture::processStep(ImportFiles)
control of /opt/maarch/MaarchCapture/files/maarchBD//5_GB.pdf
Capture::processStep(SendToMaarch)
Killed

Nous avons constaté que la capture ce fait avec capturekofax,
La configuration du serveur a été édité : les ram php, le post_max_file_size et upload_max_size

Quentin aurai une idée de l'anomalie sur les fichier volumineux ?
Seule la pièce jointe volumineuse n'est pas ajoutée.

Le contournement a-t-il débloqué la situation ?

Si oui, nous cherchons une solution plus aboutie mais cela va prendre un certain temps.

Un commit correctif du paquet kofaxToMC a été fait ici :

https://labs.maarch.org/deliveryteam/cd78/commit/13ca4d7d1e88b25eb36e9f677438683d7d914377

Au lieu de charger les fichiers en brut et en base64 puis en json, on prépare un stream du fichier avec un filtre d’encodage base64 qui n’est vraiment ouvert qu’au dernier moment, c’est-à-dire à la construction du json de la requête cURL.

Pour le déployer, se rendre dans le dossier d’installation actuel. Il s’agit normalement de /opt/maarch/modules/kofaxToMC, sinon voir le fichier référencé dans la crontab.

Vérifier que le code est à jour avec le commit 04684fb1988944d18a582c6569fe1dae0f7f13a4 (avant-dernier commit sur le dépôt) à l’aide de git log puis récupérer les sources avec git pull. Attention, il faut sauvegarder config.xml avant de mettre à jour.

Ceci fonctionne sur ma machine pour un pdf de 700Mo en document principal ou en pièce-jointe, cependant il a fallu mettre memory_limit=-1 dans le php.ini de apache2, et le chargement est très long à l’ouverture du courrier dans l’application, de l’ordre de la minute.