Trier par ordre chronologique le contenu d'un fichier log

**Schum25** · 05/06/2012, 09h53

Bonjour à tous,

Voilà mon soucis. J'ai dans un fichier une suite de log venant de plusieurs programmes python. Ces logs se trouvent sous la forme suivante :

userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]check failed: sharing.incoming.status:inactive should be equal to active
userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]Page number 2 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:43:27,081 - ZZZ - ERROR - [step 3]Page number 3 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:44:27,209 - ZZZ - ERROR - [step 3]Page number 4 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:45:27,621 - ZZZ - ERROR - [step 3]Page number 5 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:46:31,309 - ZZZ - ERROR - [step 3]Page number 6 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:47:31,348 - ZZZ - ERROR - [step 3]Page number 7 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:48:31,108 - ZZZ - ERROR - [step 3]Page number 8 result failed: 2 successive pages failed
userA : XXX - 2012-06-01 23:48:41,659 - ZZZ - ERROR - [step 3]check failed: sharing.incoming.status:inactive should be equal to active
userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]presentation not correctly started
userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]check failed: sharing.outgoing.status:inactive should be equal to active
userB : XXX - 2012-06-01 23:43:00,247 - ZZZ - ERROR - [step 3]Page number 2 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:44:00,665 - ZZZ - ERROR - [step 3]Page number 3 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:45:01,162 - ZZZ - ERROR - [step 3]Page number 4 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:46:04,526 - ZZZ - ERROR - [step 3]Page number 5 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:47:04,608 - ZZZ - ERROR - [step 3]Page number 6 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:48:04,539 - ZZZ - ERROR - [step 3]Page number 7 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:49:04,448 - ZZZ - ERROR - [step 3]Page number 8 result failed: 2 successive pages failed
userB : XXX - 2012-06-01 23:49:05,993 - ZZZ - ERROR - [step 3]check failed: sharing.outgoing.status:inactive should be equal to active
userB : XXX - 2012-06-01 23:49:22,784 - ZZZ - ERROR - [step 4]stop sharing not correctly stopped

Ce que je souhaiterais, c'est avoir ces logs par ordre chronologique. Comme ils sont formatés avec asctime ca doit pouvoir ce faire, mais je bute sur la question...

Le résultat que je chercher à trouver est le suivant :

userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]presentation not correctly started
userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]check failed: sharing.outgoing.status:inactive should be equal to active
userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]check failed: sharing.incoming.status:inactive should be equal to active
userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]Page number 2 result failed: 2 successive pages failed
.....

Merci de votre aide. Si vous avez besoin de plus d'info n'hésitez pas.

**wiztricks** · 05/06/2012, 10h18

Salut

Vous pouvez utilisez la fonction sorted décrite dans le wiki.
Elle permet de préciser sur quel critère effectuer le tri, ce critère pouvant être une fonction qui extrait la date de la ligne du log.

- W

**VinsS** · 05/06/2012, 10h50

Salut,

Avec itemgetter tu peux identifier un élément d'une liste donnée.

Ce qui implique de transformer tes lignes en listes.

Exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
# -*- coding: utf-8 -*-
 
from operator import itemgetter
 
LINES = ["userA : XXX - 2012-06-01 23:48:41,659 - ZZZ - ERROR - [step 3]foo", 
    "userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]foo", 
    "userA : XXX - 2012-06-01 23:44:27,209 - ZZZ - ERROR - [step 3]foo", 
    "userA : XXX - 2012-06-01 23:43:27,081 - ZZZ - ERROR - [step 3]foo",  
    "userA : XXX - 2012-06-01 23:45:27,621 - ZZZ - ERROR - [step 3]foo", 
    "userA : XXX - 2012-06-01 23:46:31,309 - ZZZ - ERROR - [step 3]foo", 
    "userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]foo", 
    "userA : XXX - 2012-06-01 23:47:31,348 - ZZZ - ERROR - [step 3]foo", 
    "userA : XXX - 2012-06-01 23:48:31,108 - ZZZ - ERROR - [step 3]foo", 
    "userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]foo", 
    "userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]foo"]
 
lsts = []
for l in LINES:
    lsts.append(l.split(" "))
lst = sorted(lsts, key=itemgetter(5))
loglines = []
for l in lst:
    loglines.append(" ".join(l))
print
for l in loglines:
    print l

Ici on ne tient compte que de l'heure, tu devras modifier pour tenir compte de la date en plus.

**wiztricks** · 05/06/2012, 11h23

Salut,

Sur les mêmes LINES, on peut se contenter d'extraire la s/chaine de caractères qui servira à "ranger" les "lignes":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
lines = sorted(LINES, key=lambda v: v[14:37])
print ('%s' % '\n'.join(lines))

Le vrai souci est côté combien de fichiers, combien de lignes et combien de GB mémoire il faudra pour charger l'ensemble du ou des fichiers.

- W

**PauseKawa** · 05/06/2012, 19h04

Bonjour,

Si le format du log est fixe (même longueur pour les éléments) pourquoi pas.
Que pensez vous de ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
>>> LINES = ["userA : XXX - 2012-06-01 23:48:41,659 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:44:27,209 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:43:27,081 - ZZZ - ERROR - [step 3]foo",  
...     "userA : XXX - 2012-06-01 23:45:27,621 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:46:31,309 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]foo", 
...     "userA : XXX - 2012-06-01 23:47:31,348 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:48:31,108 - ZZZ - ERROR - [step 3]foo", 
...     "userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]foo", 
...     "userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]foo"]
>>> lines = sorted([l.split() for l in LINES], key=lambda v: v[5])
>>> for l in lines:
...     print (' '.join(l))
... 
userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]foo
userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]foo
userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]foo
userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:43:27,081 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:44:27,209 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:45:27,621 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:46:31,309 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:47:31,348 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:48:31,108 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:48:41,659 - ZZZ - ERROR - [step 3]foo

?

@+

**fred1599** · 05/06/2012, 21h54

Salut Pausekawa

Tu ne tries que l'heure, je me trompe?

**PauseKawa** · 06/06/2012, 06h48

Bonjour fred1599,

Exact mais en fait je ne parle que de l'index.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
>>> from operator import itemgetter
>>>  
... LINES = ["userA : XXX - 2012-06-01 23:48:41,659 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-09-01 23:44:27,209 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:43:27,081 - ZZZ - ERROR - [step 3]foo",  
...     "userA : XXX - 2012-07-01 23:45:27,621 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:46:31,309 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]foo", 
...     "userA : XXX - 2012-07-01 23:47:31,348 - ZZZ - ERROR - [step 3]foo", 
...     "userA : XXX - 2012-09-01 23:48:31,108 - ZZZ - ERROR - [step 3]foo", 
...     "userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]foo", 
...     "userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]foo"]
>>> 
>>> lines = sorted([l.split() for l in LINES], key=itemgetter(4,5))
>>> for l in lines:
...     print (' '.join(l))
... 
userB : XXX - 2012-06-01 23:40:22,965 - ZZZ - ERROR - [step 2]foo
userB : XXX - 2012-06-01 23:40:50,993 - ZZZ - ERROR - [step 2]foo
userA : XXX - 2012-06-01 23:41:02,334 - ZZZ - ERROR - [step 2]foo
userA : XXX - 2012-06-01 23:42:26,509 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:43:27,081 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:46:31,309 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-06-01 23:48:41,659 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-07-01 23:45:27,621 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-07-01 23:47:31,348 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-09-01 23:44:27,209 - ZZZ - ERROR - [step 3]foo
userA : XXX - 2012-09-01 23:48:31,108 - ZZZ - ERROR - [step 3]foo

Et même: Cela implique que (4,5) existe.

@+

**Schum25** · 06/06/2012, 10h33

Bonjour à tous,

Tout d'abord merci de vos contributions.

J'ai réussi à résoudre mon pb en faisant déjà une modif sur le formatage, j'ai mis l'heure en premier.

2012-06-01 23:41:02,334 - userA : XXX - ZZZ - ERROR - [step 2]check failed: sharing.incoming.status:inactive should be equal to active

Ensuite je fait ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
with open("errors_logBIS") as trielog:
	maListe = trielog.readlines()
	maListe.sort()
	for line in maListe :
		#print (line)
		with open("errors_log",'a') as errors_log_final :
			errors_log_final.write(line)

En fait je transforme mon fichier en une liste, et comme sur chaque lignes c'est la date et l'heure qui sont en premier, un .sort() sur la liste permet de mettre dans l'ordre.

Ensuite dans la boucle for je ré écris dans un autre fichier.