Discussion :

[ryodo]

Bonjour

Je test un petit script qui gère des gros fichier texte (contient jusqu’à un million de ligne ).

quant je travail avec un fichier de test qui contient 20 ligne le script marche très bien mais quant je load un gros fichier sa me donne cette erreur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 35 bytes) in C:\wamp\www\test\index.php on line 44

La ligne 44 contient sa

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
 
$fichier="test.txt";
    $tabfich=file($fichier);
 
    $tab = Array();
    for( $i = 0 ; $i < count($tabfich) ; $i++ )
        $tab[$i]=$tabfich[$i];
 
    $tabD = array_unique($tab);//La ligne 44

Cordialement

[rawsrc]

Bonjour,

bah oui un million de lignes ça commence à peser.
Avant de bidouiller la mémoire maximum allouée à un script est-ce qu'avec ce code ça passe ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php
 
$fichier = "test.txt";
$tabfich = file($fichier);
 
$tab = array();
$nb  = count($tabfich);
for($i = 0; $i < $nb ; ++$i) {
   $tab[$tabfich[$i]] = $i;
}
 
$tabD = array_flip($tab);
 
?>

[ryodo]

voila l'erreur qui as donné votre code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 24 bytes) in C:\wamp\www\test.php on line 8

[rawsrc]

Ok, quelle le poids du fichier à parser ?

[ryodo]

Le fichier a 14 M

avec 500 K de ligne

[rawsrc]

c'est du csv ?

[rawsrc]

Bon, si tu as accès au fichier php.ini tu peux modifier la directive memory_limit et la passer à 32M, voire 96M si tu utilises des bibliothèques qui manipulent des images.

Si tu n'as pas accès, il te reste le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ini_set('memory_limit', '16M');

à placer au début de ton script.

Enfin, il faut te conformer au max autorisé par ton hébergeur.
Chez certains tu peux jouer sur la mémoire avec la directive

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

php_value memory_limit 16M

à placer dans le .htaccess

Ensuite, il se peut que tu butes sur le temps limite d'exécution d'un script, pour cela il faut jouer avec set_time_limit()

[ryodo]

la je travail en local et j'ai sa dans mon php.ini

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
memory_limit = 128M

et sa ne marche pas toujours

[rawsrc]

Ah oui si avec 128M ça ne passe toujours pas, il faudrait dire ce que contient ton fichier et ce que tu en fais avec ta routine de parsage pour essayer de voir si une autre approche permettrait de le digérer.

[hazamor]

Vous pouvez utiliser fopen et fgets pour lire le contenu de fichier et des boucles pour tester:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
set_time_limit(1000);
$fichier = "test.txt";
 
$handle = @fopen($fichier, "r");
if ($handle) {
   while (!feof($handle)) {
       $lines[] = fgets($handle, 4096);
   }
   fclose($handle); 
}
 
$resultat=array();
foreach ($lines as $ln){
    if (!in_array($ln, $resultat))
    {
        $resultat[]=$lines[$key];
    }
}
 
foreach ($resultat as $ln){
    echo '<br>'.$ln;
}

J'ai l'essayé avec un fichier de 50 M, ça fonctionne mais il a pris quelques minutes!

[ryodo]

Merci pour vos repense mais j'ai pris la solution suivante

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
ini_set('memory_limit', '5500M');

sa marche en local et chez mon hébergeur


Cordialement