Discussion :

[parp1]

Bonjour tout le monde,

Ca fait un baille que je n'avais pas posté sur le forum. Voila, j'expose mon problème.

J'utilise dans mon entreprise un logiciel BareTailPro, c'est un soft d'analyse de logs (de chaine de caractères en fait).

Ce soft est généraliste et assez lourd d'usage pour des utilisateurs lambda ( il faut utiliser une syntaxe assez complexe basé a coup d'opérateur booléen.

J'ai entrepris de faire un "clone" ou il y aurait une interface qui simplifierait l'usage. (Par exemple pour connaitre les positions de tel axe mécanique il suffirait de cliqué sur un checkbox).

La structure est assez simple, dans le haut de l'écran un listview qui affiche le fichier log (environ 140Mo) dans le bas de l'écran un listview qui affiche le resultat du tri effectué dans le listview du dessus.

Voici un exemple :




En fait mon principal problème est l'affichage du fichier log dans le premier listview.

J'ai donc fait une procedure qui ouvre le fichier et l'affiche dans le listview. J'ai ajouté des tempos afin de mesurer le temps utilisé par python pour effectué les processus.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
    def openfile(self):
        t1 = time.time()
        with open("-Combined.txt", "r") as f:
            text = f.readlines()
            t2 = time.time()
            print("Fichier chargé en mémoire en " + str(t2 - t1))
            for lines in text:
                self.textEdit.addItem(lines)
 
            t3=time.time()
            print("Contenu affiché en " + str(t3-t2))
        f.close()

La console me retourne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Fichier charger en mémoire en 0.9394903182983398
Contenu affiché en 1.48594331741333

Ce qui est bien, mais en réalité l'interface graphique affiche réellement après environ 1min15s en ornant d'un magnifique "pas de réponse" dans le titre du mainwindow.
La c'est moins drôle.

Voici ma question,

Connaissez vous un moyen d'optimiser le rendu à l'écran de ce listview sachant que python apriori traite les données suffisament rapidement pour mon usage...


Merci par avance.

[laurentv88]

je ne réponds pas à ta question mais pourquoi ne pas utilisé un ElasticSearch/Kibana pour la gestion des logs, Kibana a une interface agréable et la recherche est "simple" à faire.

[wiztricks]

Salut,

Connaissez vous un moyen d'optimiser le rendu à l'écran de ce listview sachant que python apriori traite les données suffisament rapidement pour mon usage...

Quelle que soit la bibliothèque graphique, les instructions de mise à jour des widgets que vous effectuez dans un callback ne sont prises en compte qu'après le "retour" du callback i.e. lorsque le GUI videra la pile d'évènements via la mainloop.

Dans votre cas, vous pourriez "forcer" ces mises à jour en appelant .update() toutes les N lignes lues.

- W

[parp1]

Bonjour! Merci pour vos réponses.

pourquoi ne pas utilisé un ElasticSearch/Kibana

J'ai survolé rapidement cette question, mais si j'ai bien compris ça nécessite une solution de serveur web pour fonctionner ? Si tel est le cas, ça ne m'arrange pas. En effet, il me faut une solution "locale" car les logs ne devont aller les chercher sur une plateforme web et nous les téléchargeons. En tout cas merci pour cette solution.


Pour la solution proposé par wiztricks j'ai appliqué cela.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
    def openfile(self):
        t1 = time.time()
        with open("-Combined.txt", "r") as f:
            text = f.readlines()
            t2 = time.time()
            inc=0
            print("Fichier charger en mémoire en " + str(t2 - t1))
            for lines in text:
                self.textEdit.addItem(lines)
                inc=inc+1
                if inc%1000==0:
                    self.textEdit.update()
 
        # self.textEdit.addItem(f.readline())
            t3=time.time()
            print("Contenu affiché en " + str(t3-t2))
        f.close()

Dans le code textEdit est bien un Qlistview. Et non un QTextEdit.

Toutefois rien ne se passe à l'affichage, pas de refresh. Ça ne fait pas planter le soft...mais c'est long.

Merci par avance.

[wiztricks]

Salut,

Toutefois rien ne se passe à l'affichage, pas de refresh. Ça ne fait pas planter le soft...mais c'est long.

Désolé, il faut appeler la méthode .processEvents() associée à l'instance de QApplication que vous avez crée au tout début du programme.

De toutes façons, il ne faut pas rêver: charger 140 Mo prendra du temps... Et il faudra quand même envisager de faire cela autrement.

- W

[parp1]

Merci en effet avec app.processevent() ca fonctionne.

Merci.