Discussion :

[iohack]

Bonjour à tous !
Alors voilà une question à la c.. :
J'exécute un script ksh sur unix ( AIX en fait ) via Runtime et Process, puis récupère la sortie standar via un BuffereReader ( proc.getInputStream() ).
Jusque là tout va bien pour des commandes simples ( n'affichant pas grand-chose ).
Le problème est que le script génère environ 300 000 lignes soit 8 MO de données, et j'ai beau laisser tourner ( 48h ), l'exécution de la commande semble boucler ( alors qu'en ligne de commande, 5 minutes suffisent à afficher tout dans la console ).
J'ai essayer d'utiliser un waitFor avant de récupérer la sortie, mais en vain, toujours le même problème.

D'où ma question :
Le BufferedReader n'est-il pas limité en taille ( détail que je n'ai point vu dans la javadoc ) ?

PS. J'ai résolu mon problème en éxécutant le script de telle manière qu'il redirige la sortie standard dans un fichier. Fichier que je lis ensuite sans problème :
monScript.ksh 1> resultat.txt

[adiGuba]

Salut,


Il faudrait voir ton code...

a++

[iohack]

Bon voilà, je ne mets que le nécessaire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
PrintWriter pw=new PrintWriter(new FileOutputStream("./xrefUxCmd.tmp"),true);
pw.println(". /universe/"+societe+"/mgr/uxsetenv");
String esp=null;
if(space.equalsIgnoreCase("exp")) esp="X";
if(space.equalsIgnoreCase("app")) esp="A";
if(space.equalsIgnoreCase("sim")) esp="S";
if(space.equalsIgnoreCase("int")) esp="I";
pw.println("export S_ESPEXE="+esp);
pw.println(cmd);
pw.close();
Process pCM=Runtime.getRuntime().exec("chmod +x ./xrefUxCmd.tmp");
pCM.waitFor();
Process pEX=Runtime.getRuntime().exec("sh ./xrefUxCmd.tmp");
BufferedReader out=new BufferedReader(new InputStreamReader(pEX.getInputStream()));
pEX.waitFor();

En fait tout se bloque avec le pEX.waitFor();
La commande à executer est dans la variable "cmd", en fait c'est pour lister tout en tas d'objets dans un logiciel ( $universe ). Si je paramètre celle-ci pour effectuer un filtre ( pas beaucoup de lignes en sortie ) tout ce passe bien. Mais lorsque la commande généère plusieurs centaines de milliers de lignes. L'application semble se bloquer et tourner dans le vide ( pas de temps processeur utilisé ).
Je précise qu'au bout de 48h, c'est toujours dans le même état alors que dans la console, la commande prend environ 5 minutes.

[adiGuba]

C'est normal puisque il y a un deadlock dans ton code...

Je m'explique : l'InputStream que tu recois est lié avec la sortie de l'application que tu lances. Il possède son propre buffer entre les deux applications (ton application Java et l'application "native"). La taille de ce buffer est limité (et dépend de l'OS il me semble).

Ainsi tu es obligé de lire le flux pour que l'application "native" puisse écrire dedans. Lorsque le process remplit complètement le buffer, le prochain appel à une méthode d'écriture bloquera jusqu'à ce que le buffer soit vidé (ie : lu par ton application).

Or tu attends que le process soit terminée avant de lire les données.
Donc :

• Ton application attent que le process soit terminé pour lire les données.
• Le process a remplit le buffer et restera bloqué tant que ton application ne lit pas les données

deadlock !!!


Tu dois donc lire les données AVANT le waitFor(), et je te conseille de fermer les flux inutilisés :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
        Process pCM=Runtime.getRuntime().exec("chmod +x ./xrefUxCmd.tmp");
        /* On ferme les flux que l'on n'utilises pas : */
        pCM.getOutputStream().close(); // STDIN
        pCM.getInputStream().close(); // STDOUT
        pCM.getErrorStream().close(); // STDERR
        pCM.waitFor();
 
        Process pEX=Runtime.getRuntime().exec("sh ./xrefUxCmd.tmp");
        /* On ferme les flux que l'on n'utilises pas : */
        pEX.getOutputStream().close(); // STDIN
        pEX.getErrorStream().close(); // STDERR
 
        BufferedReader out=new BufferedReader(new InputStreamReader(pEX.getInputStream()));
        String line;
        while ( (line=out.readLine()) != null ) {
            // code
            System.out.println(line);
        }
        pEX.waitFor();

Et si tu dois lire les données du stderr, il faudra le faire depuis un thread séparé ou utilisé la classe ProcessBuilder de Java 5.0 qui permet de regrouper stdout et stderr...

a++

[iohack]

Pourquoi n'y ai-je pas pensé plus tôt
Enfin c'est toujours la même chose, ça parait toujours trivial lorsque l'on a compris d'où venait l'erreur.
En tout cas, un grand merci à toi !
Je testerai la modif demain matin au boulot.

PS. Pour la fermeture des flux, c'était fait un peu plus loin dans le code , enfin c'est plus propre comme ça.


EDIT : Je viens de faire la modif et effectivement c'était bien ça.