Discussion :

[gregb34]

Bonjour,

Je possède un gros fichier texte avec des lignes de type

[XX\XX\XXXX] - ...
[XX\XX\XXXX] - ...
[XX\XX\XXXX] - ...

Mon but est de faire une pré analyse de mon fichier texte pour récuperer la date de la 1ere ligne et la date de la derniere ligne.

Cette pré analyse, permettra a l'utilisateur de choisir un intervaelle de date, et seulement les lignes possedant leur date dans cet intervalle seront analysées

Comment faire cela le plus optimisé possible ?

Il faut lire tous le fichier texte pour recuperer la derniere ligne ?

Pourrait on lire le fichier texte et enregistrer la position de chacune des ligne dans le but de faire un seek pour ce positionner directement au debut de l'intervalle au debut de l'ananyse complete.

MERCI de votre aide.

[Archibald29]

Bonjour,

C'est juste une hypothése de travail :

- Peut être en définissant un type record de la longueur exacte de l'une des lignes, avec des fonctions d'accés fichier telles qu'en pascal

- La dernière ligne est accessible en calculant le nombre de records d'aprés la taille du fichier

[OutOfRange]

Salut

Juste une piste de réflexion...

Ne pourrais-tu pas lire le fichier octet par octet en commençant pas la fin, et dès que la valeur lue correspond à la valeur ascii du crochet ouvrant (91), il ne te resterait plus qu'à lire la date juste après...

A condition bien sûr que la dernière ligne de texte ne contienne pas ce caractère et pour minimiser ce risque, tu pourrais tester si le 11ème octet suivant est bien un crochet fermant (93)

: : : : : : : : :

[qi130]

Je suggère un TStringList, pour autant que le fichier ne soit pas démesuré

Tu disposes ainsi du LoadFromFile pour le charger, puis un petit Copy sur les Items [0] et [count-1] et tu auras les 2 dates.

Ensuite, un Free pour libérer le TStringList.

[gregb34]

Le texte peut etre immence, fichier LOG Apache, je fais mes tests avec un fichier de 60 Mo, c'est gerable ?

[Okaryn]

Hello,

Vu la taille de ton fichier de log, je te déconseille l'utilisation d'un TStringList pour charger toutes les lignes.

2 idées :

1/

Ne prendre en compte que les xx derniers caractères du fichier, les charger dans un TStringList et ne retenir que la dernière ligne du TStringList. Il faut dans ce cas prévoir assez large pour être toujours certain de prendre au moins 1 ligne complète, par exemple les 1000 derniers caractères.

2/

Parcourir le fichier par la fin mais en analysant les retours à la ligne plutôt que les crochets car sinon le résultat sera faut dans ce cas :

[18/04/2006] - Invalid Date [01/04/1006]

Donc en gros, tu assignes ton fichier, tu déplaces le curseur à la fin et tu remontes d'un caractère à chaque appel pour savoir s'il s'agit du retour à la ligne. Si c'est le cas, tu lis la séquence qui suit le retour à la ligne (attention si le fichier se termine par un retour à la ligne, dans ce cas ne pas en tenir compte évidement).

[anapurna]

salut


il existe un composant sympa : TabFile
qui gere les gros fichier

@+ Phil