Discussion :

[shark1308]

Salut à tous,

Je vais essayer d'être le plus précis possible ;

je bosse sur un outil de génération de données Php pour mettre en charge une base mysql.

Pour gagner en perf , je fais un import de mes données générées dans des fichiers csv, mais lors de l'import de 20 000 000 de lignes mon systeme crash et me renvoi une erreur de ram saturée.

voici un aperçu de mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
 
echo "Début remplissage : " . $nomTable . "<br />\n";
            ob_flush();
            $fp = fopen('csv/' . $order . Gendata_Casse::toCamelCase($nomTable) . 'Data.csv', 'w');
            for ($i = 1; $i <= $volume; $i++) {
                if (!assert(fputcsv($fp, call_user_func(array($this, 'populate' . Gendata_Casse::toCamelCase($nomTable)), $i), ';', '"'))) {
                    fputcsv($fp, call_user_func(array($this, 'genDependent' . Gendata_Casse::toCamelCase($nomTable))), ';', '"');
                }
            }
            fclose($fp);
....

Est ce qu'il existe une solution pour ne plus avoir ce genre de problème.

[boo64]

Tu peux charger une table sql directement depuis un csv

http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

[shark1308]

Tu peux charger une table sql directement depuis un csv

http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

Merci de ta rapidité,
en fait c'est ce que je fait, mais pour des soucis de rapidités, je génère d'abord mes fichiers CSV et les importes après , c'est lors de la création du CSV, quand j'importe de gros volumes, qu'il crash.

[sabotage]

c'est une erreur php ou une erreur systeme ?

[boo64]

Merci de ta rapidité,
en fait c'est ce que je fait, mais pour des soucis de rapidités, je génère d'abord mes fichiers CSV et les importes après , c'est lors de la création du CSV, quand j'importe de gros volumes, qu'il crash.

ok j'imagine que tu n'as pas possibilités de générer directement c'est csv depuis sql?

[shark1308]

c'est une erreur php ou une erreur systeme ?

Erreur Php qui prend trop de memoire.

[boo64]

tu peux jouer avec le memory_limit de ton php.ini et utilisé memory_get_usage pr controlé la memoire utilisée par php

[shark1308]

tu peux jouer avec le memory_limit de ton php.ini et utilisé memory_get_usage pr controlé la memoire utilisée par php

ok je test, merci.

[sabotage]

Je ne pense pas que PHP puisse gérer un gros fichier sans avoir la mémoire correspondante en reserve.

A voir si on fermant et ré ouvrant le fichier a la moitié du traitement ca marche.