Discussion :

[Merfolk]

Bonjour,

est-ce qu'il existe un outil ou un petit soft permettant de diviser un xml en X fichiers, chaque fichier contenant un item ?

je m'explique : j'ai un gros fichier XML de plus de 100 Megs (fichier d'une seule ligne en plus ) qui représente une liste de données, je n 'arrive à l'ouvrir dans aucun éditeur...

je chercherai un outil qui prend ce gros fichier de 100 Meg en entée, et qui fabrique 100 000 petits fichiers... 1 fichier par item de la liste, ayant en nom "la clé" de l'item courant

je pense c'est un problème que certains ont déjà rencontré, peut être il existe une solution connue ?

merci


a default je veux bien tenter d'écrire un programme moi même qui divise, mais je ne suis même pas sûr que le parseur arrive à interpréter cette chaine gigantesque... il faudrait le faire "en C" ?

[Séb.]

Hum, si je puis me permettre c'est la peste ou le choléra ton truc là

Es-tu sûr de vouloir 100 000 petits fichiers ?
Ne serait-il pas judicieux de regrouper tes items ?
Ou d'utiliser une base de données type MySQL ou autre ?

Sinon si tu tiens au XML alors il n'y a pas en soit de souci particulier justifiant l'existence d'un script générique. Tu peux traiter ton fichier avec SimpleXML http://fr.php.net/simplexml ou DOM http://fr.php.net/dom, mais vu sa taille ça risque d'être problématique. Essaie XMLReader http://fr.php.net/xmlreader en premier lieu.

[Merfolk]

le but c'est exactement ça, l'insérer dans une base mysql
sauf qu'il faut que je parte de cette grosse bouillie, je n'ai rien d'autre...

si je sais le découper en petits fichiers je n'aurai aucun problème, même s'il y en a 100 000.

le parser (en php) je doute, j'ai découpé le fichier en petits fichiers de moins de 300 kilos, mais quand j'édite dans un soft puis tente de faire "re indent"; ça met déjà des dizaines de secondes....alors parser cette quantité *500 ... ça risque de ne pas le faire...

[Séb.]

Je ne comprends pas pourquoi tu veux passer par les XML...
- Tu as ta source : le XML de 100 Mo
- Tu as l'outil pour le traiter : XMLReader (devrait faire l'affaire car travaille en pull)
=> Tu devrais donc pouvoir injecter tes données directement dans la BdD

j'ai découpé le fichier en petits fichiers de moins de 300 kilos, mais quand j'édite dans un soft puis tente de faire "re indent"; ça met déjà des dizaines de secondes....

Changer de logiciel