Discussion :

[xxkirastarothxx]

Bonjour à tous,

j'ai une simple petite question sur la méthode à utiliser pour enregistrer un fichier téléchargé via urllib2:

la première methode, qui ouvre et referme toujours le fichier a écrire pour éviter de le charger en mémoire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
while True:
	saveFile = open(dest, "ab")
	chunk = page.read(chunk_size)
	saveFile.write(chunk)
	saveFile.close()
	bytes_so_far += len(chunk)
	if not chunk:
		break
	if report_hook:
		report_hook(int(bytes_so_far/chunk_size), chunk_size, total_size)

ou tout d'une seule traite:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
saveFile = open(dest, "wb")
while True:
	chunk = page.read(chunk_size)
	saveFile.write(chunk)
	bytes_so_far += len(chunk)
	if not chunk:
		break
	if report_hook:
		report_hook(int(bytes_so_far/chunk_size), chunk_size, total_size)
saveFile.close()

ceci sachant que le script pourra servir à télécharger de gros fichier de plus d'1Go

Merci

[mont29]

Ben je dirais, la deuxième… on pourrait même l’améliorer ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
with open(dest, "wb") as saveFile:
    chunk = page.read(chunk_size)
    while chunk:
        saveFile.write(chunk)
        saveFile.flush() # Pas obligatoire, cela forcera l’écriture réelle du chunk dans le fichier.
        bytes_so_far += len(chunk)
        if report_hook:
            report_hook(int(bytes_so_far/chunk_size), chunk_size, total_size)
        chunk = page.read(chunk_size)

Avec un p’tit flush() pour s’assurer que les chunks sont immédiatement écrits sur le disque, éventuellement…

En tout cas, fermer/rouvrir le fichier à chaque chunk me semble inutilement lourd

[xxkirastarothxx]

et de cette façon le fichier n'est pas chargé en mémoire vive n'est-ce pas ? du fait du flush() je suppose ?

si c'est le cas c'est pile ce que je cherchais ^^

j'aimerai pouvoir écrire des fichiers à la volée, en évitant que ceux-ci, parfois de plusieurs 100aine voir milliers de Mo ne soient chargé en mémoire ^^

Merci

[mont29]

Un fichier n’est jamais chargé en mémoire vive quand tu l’ouvres, et encore moins quand tu ne l’ouvres qu’en écriture. L’OS se contente de le “mapper” en mémoire virtuelle, puis il lit vraiment sur le disque uniquement à la demande, quand le fichier est lu par l’application.

De plus, en écriture, seul le tampon d’écriture est conservé en mémoire vive (si l’on exclue les optimisations propres à chaque OS), et il est périodiquement écrit sur le disque (là encore, c’est géré par l’OS, à moins que tu n’appelles flush(), qui force l’OS à écrire sur le disque).

Donc, à moins de lire l’intégralité de ton fichier d’un coup, l’OS se chargera toujours de n’en conserver en RAM que ce qui est nécessaire

[xxkirastarothxx]

Merci bien pour toutes ces précisions
Résolu =)

Edit:
aah non,
encore une petite question,
dans ton script, l'utilisation de "with open(dest, "w+") as saveFile:" fait qu'il n'y a pas besoin de saveFile.close() ?

[mont29]

Et non !
Vas voir sur la doc de Python pour les détails (http://docs.python.org/py3k/referenc...with-statement et la http://www.python.org/dev/peps/pep-0343/), mais pour faire vite, with permet d’obtenir en une seule ligne un équivalent à try…except…finally… . Autrement dit, l’item qui est créé par “with expr as item” (c’est un type d’objet particulier, un “context manager”) sera proprement finalisé, quoi qu’il arrive (même si une exception survient). Pour un fichier créé de cette manière, cela revient à un appel automatique à close()… Pratique, non ?

[xxkirastarothxx]

Effectivement c'est bon à savoir, je crois que je vais revoir certain de mes scripts ^^

Merci encore,
à une prochaine