Discussion :

[And_the_problem_is]

Bonjour

Je fais un programme Perl sous Unix.

Mon programme tourne correctement avec différents fichiers tests. Mais avec un gros fichier, un intermédiaire est un fichier texte de 340 Mo que je dois lire. Or quand je reviens (il met 2 jours pour en arriver la) le programme de tourne plus qu'au ralenti.

Quand je fait "process" mon programme est en "sleep" et ne tourne qu'à 1 %.

Je pense que c'est parce que $toto=<MON_FICHIER> à des problèmes avec la taille du fichier.

Est qu'il y a moyen de laisser un plus grand espace pour une variable comme long en C ?

J'ai cherché sur O'Reilly, pas de réponse (ou peut être que je ne regardais pas au bon endroit )

Je vous remercie d'avance de vos réponses.

[jérôme]

Si j'ai bien compris, tu essaie de stocker dans une variable le contenu d'un fichier de 340 Mo ????
Mais t'as combien de RAM sur ta bécane ?
Tu ne crois pas que tu pourrais peut-être faire autrement ?

[And_the_problem_is]

Je ne peux pas faire autrement je dois lire ce fichier.

Pour ce qui est de la RAM je n'en sais rien mais je pense que la station Sun doit avoir ce qui faut (je pense je n'en suis pas sur)

[jérôme]

J'ai bien compris que tu devais lire ce fichier, mais es-tu obligé de le lire en une seule fois ? Que dois-tu donc faire dessus qui nécéssite de le charger dans son intégralité dans la RAM ?

[And_the_problem_is]

Après je le parse avec des expressions régulières (c'est du Perl !!! )

pour récupérer les informations que je souhaite. Tout ne m'intéresse pas mais je suis obligé de le lire pour faire le tri.

lire en une seule fois

Question : est ce possible de le lire autrement ?

[jérôme]

Tu peux peut-être quand même le découper un peu. Si c'est un fichier qui contient du texte, même en l'ouvrant en binaire (forcément sous Unix), tu peut repérer des fins de ligne. A ce moment là tu récupères tous les 10 retours à la ligne par exemple et tu bosses dessus, ensuite tu continues avec les 10 suivants etc...
Essaie de lancer un éditeur comme VI ou un autre et de le faire analyser ton fichier de 340 Mo et regarde dans les process comment il accède à la mémoire, tu verras qu'il n'utilise certainement pas toute la RAM pour lire ton fichier.

[And_the_problem_is]

Je te remercie je vais essayer ça ne me semble pas très simple mais je suis persévérant.

Merci

[le troll Hebus]

tu fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
$toto=<MON_FICHIER>

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
@toto=<MON_FICHIER>

dans le 1er cas, il ne stocke dans le scalaire $toto qu'une ligne, et non pas tout ton fichier: à moins que celui-ci ne contienne aucun caractère de fin de ligne???
dans le second cas il stocke tout le fichier dans le tableau, ce qui, compte tenu de la taille de ton fichier, n'est pas à faire.

si tu fais un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
while (<MON_FICHIER>)  {
      $ligne	= $_;
 
		$ligne 	=~ s/\n$//;
		$ligne 	=~ s/\r$//;
 ...
}

je ne vois pas pourquoi tu aurais un problème avec un gros fichier...

[And_the_problem_is]

Je fais $toto=<MON_FICHIER> et je t'assure que tout le fichier est lu et il contient des \n (j'en suis sur).

Pour ce qui de pourquoi ca ne marcherait pas avec un gros fichier, je n'en sais rien du tout c'est pour ca que j'ai fait un post. Mais si ça se trouve le problème n'est pas là, mais j'ai réfléchi (dans ma tête ) et je n'ai rien vu d'autres.

Je te remercie pour ton aide.

[vic]

Si tu essaies de lire un fichier au format DOS depuis un unix (ou inversemnt) il se peut qu'il ne retrouve pas les caractères de fin de ligne, dans ce cas utilise la variable $/ pour préciser explicitement où les lignes doivent s'arrêter.

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$/ = "\r\n";

vic

[And_the_problem_is]

Merci