Discussion :

[italiasky]

Bonjour,

Voila, je dois lire un gros, très gros fichier XML de l'ordre de 18 / 20 Mo.

Et donc j'aimerais savoir le meilleur moyen de lire le fichier pour gagner en perfs ?

Pour l'instant, je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
// Source
InputSource in = new InputSource(new FileInputStream(path));
 
// Definition du parser ORACLE
SAXParser parser = new SAXParser();
parser.setContentHandler(new DemoContentHandler());
parser.setValidationMode(SAXParser.NONVALIDATING);
 
// Lancement du parser
parser.parse(in);

Donc j'utilise FileInputStream. FileReader serait-il plus performant ? Ou autre chose encore ?

Pourquoi j"utilise Inputsource après ? Et bien parce que c'est la seule chose qu'à bien accepter le parser SAX d'Oracle.

Si quelqu'un en sait un peu plus sur l'optimisation de code via java ? Pour la lecture de fichier notamment.

Merci
++

[darkxan]

Une optimisation : utiliser un BufferedReader au lieu d'un FileInputStream.

[tchize_]

jouer sur le type de reader ne fera pas grande différence. Le plus important c'est ce qui se passe lors des évènement SAX. Si tu construit un arbre DOM en mémoire pour un xml de cette taille, c'est çà qui va bouffer. Tu fait quoi dans ton contenthandler?

[italiasky]

jouer sur le type de reader ne fera pas grande différence. Le plus important c'est ce qui se passe lors des évènement SAX. Si tu construit un arbre DOM en mémoire pour un xml de cette taille, c'est çà qui va bouffer. Tu fait quoi dans ton contenthandler?

Je ne crée par d'arbre DOM étant donné que je n'utilise pas cet API mais l'API SAX. (j'avais fait des tests avec DOM, et la différence avec SAX est flagrante pour de très gros fichier donc maintenant que je suis bien avec SAX, j'essaie d'optimiser encore le reste, s'il y a des choses à optimiser).

Donc dans mon contenthandler, il y a le déclenchement des évenements (début/fin balise, PCDATA, etc quoi, les choses de base de l'API SAX) et les traitements derrières c'est que toutes les infos je les mets dans la BD Oracle. Donc, oui pas mal de requêtes derrière qui vont suivre si c'était ca ta question pour savoir ce qui allait être fait avec les données du fichier XML ?

Une optimisation : utiliser un BufferedReader au lieu d'un FileInputStream.

Comment utiliser BufferedReader ?
J'ai trouvé des exemples qui passe forcément avant par un FileReader ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
fileReader = new FileReader(nomFichier);
bufferedReader = new BufferedReader(fileReader);

C'est la façon correcte de faire ?

Merci
Bonne soirée

[tchize_]

le bufferedreader va lire par bloc, mais je suis pas convaincu du gain. Par contre, si t'as pas mal de requete oracle, tu peux peut etre les regrouper pour en faire des batch et limiter tes latences réseau. Genre t'accumule une 50 aine d'ordres à envoyer à la db et tu balance tout d'un coup. (méthode addBatch() sur le statement.