Réaliser un pipeline entre differents programmes sous Python

**angrom** · 26/06/2013, 02h24

Bonjour à tous;

Alors voilà mon problème j'utilise dans le cadre de mon travail scientifique différents programmes de filtrations et d'interprétations de données brutes, mais voila le processus complet d'analyse demande d'utiliser ses différents scripts les uns après les autres en utilisant à chaque fois les donnes sortantes du programme précédent

. Pour faire cela j'utilise habituellement le terminal sous Ubuntu afin de lancer différents scripts préparés à l'avance.

Ce que j'aimerais c'est réaliser un pipeline entre ses différents programmes avec Python (réaliser un script qui permettrait automatiquement de prendre les fichiers de sortie d'un programme et de lancer dessus le deuxième script etc...)
Auriez-vous des idées de scripts ou de commandes permettant de faire cela?

Merci d'avance

**VinsS** · 26/06/2013, 05h29

Salut,

subprocess.Popen devrait faire l'affaire.

Si il s'agit simplement de données retournées par un script et assimilables à du texte, aucun problème.

**angrom** · 26/06/2013, 07h36

Merci de ta réponse rapide : P

Les fichiers sortants peuvent être de différentes natures selon le script lancé mais globalement il s'agit de texte que l'on peut ouvrir éditer etc qui se présentent sous cette forme, et ça sur des milliers de lignes

.

@HWI-ST1213: 141: C17 PWACXX: 6: 1101: 1520: 1977 2: N: 0: CTTGTA
CTCTATTCTCGCATCCTTGTCCACCTTCCAACAGATGTGGATCTCAAAGCAAGAATACGACGAATCTGGCCCCGGAATCG
TTCACAGGAAATGCTTTTAA
CCCFFFFFHHHHHJJJJJIJJJIJJJJJJJJJJJJJIGHIJIJIIIJJIJGIJJJJJJJJJJHHHFFFFFFDDBDDB? CD
AABDCDCB@BDCDDDEDDCD @HWI-ST1213: 141: C17 PWACXX: 6: 1101: 2023: 1993 2: N: 0: CTTGTA
TGGCCATGCCTCCCCAAAAGGCACCAAGAAAAGTGAAAAACTTAGCAATCTTGGATTCTTCTTTCGCGAAGATGACACAT
ACACCAATGACTTTAAATTA

Je vais essayer de creuser du coté des subprocess popen comme tu me le suggère. les scripts que je lance les uns après les autres sont surtout des scripts PBS.

**plxpy** · 26/06/2013, 07h41

Bonjour

Tu utilises le teme pipeline mais décris une suite d'opérations qui ne relèvent pas de l'utilisation des pipe(line)s Unix.

C'est un abus de langage ? ou as-tu en tête de, réellement, utiliser les pipes ?

**angrom** · 26/06/2013, 07h53

Je pense qu'il sagit plus d'un abus de language. Dans mon domaine on utilise le terme pipeline plutôt pour désigner un moyen d'enchainer dans un ordre précis différents processus (Dans mon cas le processus précédant doit être fini avant que le processus suivant ne s'enclenche, ce que je fais manuellement habituellement) Mais je ne pense pas particulièrement utiliser les fonctions "pipe

**plxpy** · 26/06/2013, 08h20

Le choix du terme est vraiment très malheureux (surtout dans un contexte Linux/Ubuntu) mais bon ...

Sinon, le contenu et le format de tes différents fichiers importent peu : des scripts existants s'en occupent. Tu dois juste - si j'ai bien compris - les enchainer, un peu comme tu le fais sous Terminal.

La plus value de Python ne va pas être monstrueuse par rapport à un shell script qui reprendrait les commandes que tu lances séquentiellement à la main. Tu peux (peut-être) y gagner si tu as à construire les noms de tes fichiers et éviter ainsi l'utilisation de commandes un tantinet cabalistiques comme grep, awk, sed, ... pour manipuler des chaines de caractères.

**angrom** · 26/06/2013, 09h01

Je suis bien d'accord avec toi

C'est exactement ça, je cherche avec un script python a justement éviter de devoir éditer les différents scripts notamment pour changer le nom du fichier entrant selon l'analyse qui sera faite et ainsi éviter autant de risque de plantages. Je cherche aussi avec pyGTK à réaliser un GUI vraiment basique afin de sélectionner en naviguant dans les fichiers le fichier entrant ce qui éditerai automatiquement les scripts avec le nom du fichier sélectionné avec GTK.

En gros pour vous faire un schéma:

Imaginons j'ai deux fichiers d'entrée qui sont différents selon les analyses (R1_projet1 et R2_projet1) (R1_projet2 et R2_projet2) etc.

Et bien je cherche à ce que je puisse sélectionner R1_projet1 et R2_projet1 avec pyGTK, que cette sélection modifie le premier script au niveau du "input filename", que ses deux fichiers soient rassemblés en un seul fichier par le script1. Puis que le fichier sortant du script1 portant un nom générique genre "output script1" soit pris en charge par le script2 pour d´autres analyses etc jusqu'à l'output final, tout en gardant une copie des fichiers output à chaques étapes.

mais étant plutôt néophyte dans le language python je m'y perds.