Discussion :

[Sebastien_INR59]

Bonjour,

Existe t-il actuellement une méthode plus rapide que BufferedReader avec readLine() pour lire un fichier ligne par ligne ?


Cordialement,
Seb

[adiGuba]

Salut,

Existe t-il actuellement une méthode plus rapide que BufferedReader avec readLine() pour lire un fichier ligne par ligne ?

Cela existe peut-être... mais je ne pense pas que la différence soit si significative que cela sur un fichier de 3 Mo


Si tu as un problème de performance il doit surement venir d'autre part...

a++

[Sebastien_INR59]

En faite en C#, avec le même algo, cela prend moitié moins de temps. Je voudrais au moins égaler la performance voire l'améliorer.

[adiGuba]

En faite en C#, avec le même algo, cela prend moitié moins de temps. Je voudrais au moins égaler la performance voire l'améliorer.

Et on pourrait voir le code ???

a++

[iohack]

Tu peux essayer d'augmenter la taille du BufferedReader progressivement jusqu'à 3Mo. Mais comme cela a été dit, pour un fichier de cette taille, je doute que ce soit la lecture qui prenne le plus de temp.
Sinon tu peux essayer avec les classes du package java.nio. On est souvent agréablement supris avec ce package (sur des fichiers supérieurs à 2Go, il m'est arrivé de voir les temps de traitement divisés jusqu'à 20 !).

[divxdede]

Essai en utilisant le package java.nio

java.io utilise une philosophie de stream (gestion byte par byte) des données
java.nio utilise une philosophie de buffer (gestion block par block) des données

nio est plus efficace nottament pour les gros fichiers

[Sebastien_INR59]

Bonjour,

Voici pour le code demandé plus haut:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
            BufferedReader in = new BufferedReader(new FileReader(sPathFileI));
 
             String sLine ....
 
...
 
             while ((sLine = in.readLine()) != null) {
 
            	 sArr = sLine.split(s_Delim);
 
                 if (!arr_IdTx.contains(sArr[0])) arr_IdTx.add(sArr[0]);
 
             }
             in.close();

C'est au niveau de la boucle ... au moins 50 secondes de traitement.

Cordialement,
Seb

[iohack]

Ya pas grand chose à optimiser dans ton code. Essai avec java.nio.

[adiGuba]

Salut,


Cela pourrait venir de split() qui utilise des expressions régulières : pour chaque ligne le pattern est recompilé et c'est l'opération la plus couteuse des expressions régulières, même pour une expression assez simple...

Si tu as un grand nombre de ligne cela peut être assez pénalisant.

Dans ce cas deux solutions :

• Soit tu compiles le pattern AVANT la boucle et tu l'utilises simplement pour le split() :
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
          BufferedReader in = new BufferedReader(new FileReader(sPathFileI));
          try {
  	        String sLine = null;
  	        Pattern splitPattern = Pattern.compile(s_Delim);
   
  	        while ((sLine = in.readLine()) != null) {
   
  	       	 	sArr = splitPattern.split(sLine);
   
  	            if (!arr_IdTx.contains(sArr[0])) arr_IdTx.add(sArr[0]);
   
  	        }
          } finally {
          	in.close();
          }

• Soit tu n'as pas besoin d'une expression régulière et tu peux utiliser directement indexOf() :
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
          BufferedReader in = new BufferedReader(new FileReader(sPathFileI));
          try {
  	        String sLine = null;
   
  	        while ((sLine = in.readLine()) != null) {
  	       	    int index = sLine.indexOf(s_Delim);
  	       	    if (index>=0) {
  	       	    	String substring = sLine.substring(0, index);
  	       	    	if (!arr_IdTx.contains(substring)) arr_IdTx.add(substring);
  	       	    }
   
  	        }
          } finally {
          	in.close();
          }

a++

PS : Comme tu as pu le remarquer dans le code, je te conseille d'utiliser des try/finally pour fermer le flux

[Sebastien_INR59]

Un grand merci pour cette aide.