Discussion :

[poussinphp]

Bonjour à tous !

Je doit créer un logiciel permettant de detecter les doublons dans un repertoire. Je devrais donc trouver les fichiers en doublons et mettre les doublons dans un autre repertoire.

Le problème vient au niveau du traitement. Je pensais faire un tableau, le trier et vérifier les doublons mais étant donnée la grosseur du repertoire (600.000 fichiers), ça ferais ramer l'ordinateur étant donnée qu'un faudrais environ 300 octets à mettre en memoire par fichier.

Quelqu'un aurais t'il une methode pour pouvoir traiter cette opération s'il vous plait :

[cpdump]

Oui en créeant une signature md5 pour chaque fichier et en les triant.

[Lung]

Oui en créeant une signature md5 pour chaque fichier et en les triant.

C'est à dire ?
Ca m'intéresse. Tu peux en dire plus ?

[Manopower]

qu'entends tu par doublon ?

c'est juste le nom du fichier que tu devras gérer ou faudra t il ouvrir chaque fichier ?

Dans le premier cas, une boucle et un tableau avec un application.processmessages bien placé devrait suffire, dans le deuxième je ne vois pas de version autre que de tout ouvrir et tout stocker...

[Reisubar]

La solution de passer par un hash (MD4, MD5, Sha..) est à mon avis la meilleure.

La procédure peut être la suivante :

Pour chaque fichier du répertoire
Hacher le fichier
Chercher le hash, par exemple dans un descendant de TObjectList qui les maintient triés
Si le hash n'est pas trouvé, l'ajouter (ainsi que éventuellement le chemin d'accès au fichier)
Si le hash est trouvé, le fichier est visiblement en double.

L'utilisation d'un hash résouds le problème mais entraine quelques inconvénients :
- Chaque fichier devant être haché, cela prends un peu de temps CPU supplémentaire,
- Il y a une marge d'erreur infime mais existante, deux fichiers différents pouvant générer un même hash (ceci dit, cela est extrèmement rare !).