Discussion :

[jad_jad]

Bonjour,j'aimerai extraire des données a partir des fichiers XML complexe et de les stocker dans divers tables de ma base MySQL.sachant qu'un seul fichier contient en moyenne 10Mo de donnés,j'ai essayer de les inserer a l'aide de insert mais ca prend becoup de temps.si qqn a deja fait un truc pareil ou si vous avez d'autres idées ce serait tres gentil de votre part.
Merci.

[laurentibus]

pourquoi tu ne mets pas directement le fichier xml dans ta BDD ??

[jad_jad]

je crois que c pas possible ,puisqu'on on doit apres faire des recherches sur le contenu de ces fichiers .

[laurentibus]

ben tu peux récupérer le fichier et faire des opérations dessus après ...... (enfin je sais pas avec quelle techno tu travailles ).

quand tu dis dans ton premier post " ca prend bcp de temps " c'est combien ?

[jad_jad]

Bon Merci pour tes réponses.
je travaille avec Java et BD MySQL .
Bon ce que je fait exactement :je prend chaque fichier de 10 Mo et qui refère a 5 tables ,trop dépendantes clés étrangaires dynamiques entre les balises de ce fichiers ,je les parse avec SAX et je les insere dans la BD avec insert .
ca prend jusqu'a maintenat 10heures .
et sachez que dans le cas réelle plusieurs utilisateurs utilise la BD et immaginez ...
ce qui m'a poussez a chercher d'autres solutions :LOAD XML son default pour moi et qu'elle ne permet d'inserer que dans seule tables a la fois et en plus je dois faire des traitements avant.
aussi j'essaiyerais les ETLs ,kettle seulement pour l'instant,et c'est presque la meme chose . maintemant je ne sais pas vraiment koi faire.

[laurentibus]

ah oui c'est quand même très long ....

ah mon avis faut que t aille poster un message dans le forum BDD pour leur demander si c'est normal ce temps et quels sont les moyens de le réduire ...
forum MySQL

++

[fraoustin]

10h de traitement pour une base de données cela semble énorme !!!
combien d'appel à la base au total pour charger l'ensemble de tes fichiers (en gros combien de ligne inséré en base)?
Pourrais tu faire un test bidon: tu demande à ton code de faire un print de tes requêtes mais de ne pas les éxécuter sur la base pour voir combien de temps cela prend (voir si le programme ne met pas 9h30 à créer les ordres)

[jad_jad]

HAHAHAHA 9h30 juste pour le parse (SAX) d'un fichier de 10 Mo, hihihihi ça aurait pu etre le cas si je parse toute la planete milimetre par milimetre,

[laurentibus]

ah oui la je pense qu on tiens un record

bon jad jad poste ton code ( la partie qui rame ) pour qu on voit ça

[jad_jad]

Salut

bon pour le probleme du temps c'est reglé, ça prenait 8h pour le processus ( Extraction transformation et load) lorsqu'on utilisait des requete insert, mais ce qui est surprenant c'est l'utilisation des requetes LOAD DATA au lieu des insert ( Extraction transformation et load fichier text applati) qui prend 1 heure pour 5Go de données séparés sur 500 fichiers de 10Mo