Discussion :

[cedricgirard]

Bonne année à tous et bonjour,

Avec un php 4.2.2/linux compilé avec memory_limit, et memory_limit à 16M dans le php.ini, je lance un script simple qui lit le contenu des fichiers d'un dossier. Quand y'a trop de fichiers, le script plante au bout de quelques fichiers avec le message suivant

Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 81 bytes) in /var/www/html/outils/logs.php on line 106

sur la ligne

$file=file($chemin.$fichier);

Si je commente cette ligne, ça passe mieux mais le script évidement ne sert à rien.

Je fais pourtant des unset des variables créées dans la boucle à la fin de chaque itération. Est-ce cette version de PHP? Est-ce autre chose?

[cedricgirard]

précision, le même script passe bien sur un 4.3 windows (mais les php.ini ont d'autres différences donc difficile de copier simplement et je ne trouve pas la différence qui justifierait cela, les deux étant à memory_limit 8Mo)

[Mr N.]

fais voir ta boucle ?

[Julien.alkaza]

A tout hazard : cela ne pourait pas venir de la mémoire VIVE asociée au process de PHP???

[Kioob]

Et bien au lieu de charger tout le contenu du fichier en mémoire (ce que fait la fonction file() ), traite tes fichiers par petit morceaux !

D'autant plus que visiblement tu travailles ligne par ligne. Il te suffit donc de boucler avec feof + fgets et le tour est joué.

Imagine que tu doives travailler avec un fichier CSV de 2Go, tu vas vraiment chercher à le charger entièrement en mémoire ? Et pour lire une video de 4Go ?

[cedricgirard]

La boucle est celle ci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
while($fichier=$dir->read()) if(EstFichierDeLog($fichier, $machines, $logiciels, $machine, $logiciel))
	{
	$nbfichiers++;
    $tab=array();
	$file=file($chemin.$fichier);
	reset($file);
	foreach($file as $id=>$ligne)
		{
		$ligne=explode(';', $ligne);
		$dates[$id]=$ligne[0];
		unset($ligne[0]);
		$file[$id]=implode(';', $ligne);
		}
 
	if(isset($_GET['doublons'])) $file=array_unique($file);
	reset($file);
	foreach($file as $id=>$ligne) if(EstLigneDErreur($ligne, isset($_GET['ignore']))) $tab[]=$dates[$id].';'.$ligne;
	$texte.=AfficheLesEventuellesErreurs($fichier, $tab, &$nbfichiersErreurs);
	}

Julien.alkaza : je ne comprend pas la question, ça ne peut pas être autre chose que de la mémoire vive, de travail.

Kioob : ce n'est pas dépendant de la taille des fichiers, mais de leur nombre, comme si chaque itération ne libérait pas la mémoire qu'elle utilise et que le contenu de chaque fichier restait en mémoire jusqu'à la mort du script. Dans le code ci dessus, si je commente le file(), plus de soucis de mémoire. Si je le remplace, c'est pire. Des unset() en fin de boucle sur $file et $tab ne font rien.

[Kioob]

Je reste persuadé que tu n'as absolument pas besoin de file() ici.


Mais s'il y a vraiment un problème de mémoire, change de version de PHP, passe au moins à la 4.2.3... même si un passage à la 4.3.x ne ferait pas de mal, voir même à la version 5.

[cedricgirard]

Je suis d'accord que file() est inutile, mais j'ai essayé sans, et cela n'a pas résolu le problème. Tu semble confirmer que la 4.2.2 pourrait être responsable, dommage, la RH9 date sérieusement :-(
merci