Discussion :

[banzzai]

Bonjour !

J'ai récemment du importer des fichiers csv de plusieurs centaines de Mo, et j'ai réussit à le faire pour un fichier de 400Mo, mais il y en a un autre de 300 qui prend tout le cpu pendant X heures et qui ne finit jamais par rendre la main. Si je l'arrete je constate qu'il a mis la base dans un état tel que je ne peux plus la lancer.

Je me demande bien ce qui pourrait être la cause de tout ça...

Des idées ?^^

[Alexandre T]

Si je l'arrete je constate qu'il a mis la base dans un état tel que je ne peux plus la lancer.

Avec si peu d'informations, c'est difficile.

Avez-vous valider au préalable le bon format , bref la validité syntaxique, du fichier CSV ?

[banzzai]

A vrai dire j'ai pas vraiment plus d'information vu que ma base est fichue après cette tentative^^'

Je vais rererevérifier la structure des données mais normalement elle colle à la table de destination

[Alexandre T]

en fait, il faut vérifier que l'un des champs ne possède pas un délimiteur par exemple. Mais je ne comprends pas : Toute la base est ruinée ou c'est toute la table ? Et si elle est ruinée, comment cela se traduit-il ? Quand vous l'interroger, vous avez un message particulier ?

Est-il possible de tronquer votre fichier de 300Mo en plusieurs fichiers (dont le premier ne ferait qu'une dizaine de ligne) , puis de lancer ces fichiers successivement via un script . Cela permettra d'identifier le problème plus facilement.

[banzzai]

En fait, après la tentative d'import, plus moyen de faire la moindre requête dans mysql, le CPU se mets à 100% indéfiniment.

J'ai une réponse relativement insatisfaisante au problème, mais je suppose que c'est une réponse quand même...

En enlevant les index de la base de destination de l'export, il est passé très facilement. Je comprends ça comme l'incapacité de Mysql à créer un index sur une si grosse bas, lors de l'import.

Peut-être avez-vous une autre interprétation...

Résolu ?

[hansaplast]

[attention I'm not a gourou, loin de la]

bein, avec MySQL, entre autre, tu peut choisir d'executer toutes tes requetes d'un coup, ou de la faire par etape, l'une apres l'autre...

en gros (si j'ai compris) : 1 requete de 300MO scindée en 3000 petites requetes, ce qui pourrait permettre de genrer les index au fur et a mesure, et pas (qui sait) en une fois ala fin.

donc, voila, post inutil, n'informant en rien... mais fallait que ca sorte

[Alexandre T]

Il existe plusieurs méthodes différentes d'importer des données. Laquelle utilisez-vous ?