Discussion :

[_Gons]

Bonjour à tous !

Je suis nouveau sur developpez.net et découvre ce site avec un réel intérêt.
Voici ce qui m'amène ici :

Je suis en train de concevoir un site web sportif qui va reprendre les résultats officiels de la fédération pour en faire des statistiques et autres outils intéressants pour les pratiquants de ce sport.

J'ai besoin de récupérer la "fiche" d'environ 18000 personnes pour l'encoder dans ma BDD mysql (ou autre pour optimiser le temps de calcul? Je n'ai jms utiliser que ça).

Etape 1 : Je récupère dans ma bdd le numéro d'affiliation de la personne
Etape 2 : Je vais à l'adresse http://sitedelafede/fichedujoueur.php?id=xxxxxxx, xxxxxxx étant le numéro d'affiliation
Etape 3 : Je récupère la fiche du joueur présente dans un tableau de la page web (expression régulière ?)
Etape 4 : J'insère sa fiche dans une table général où se trouvent toutes les autres fiches

Une fois ceci fait pour les 18000 personnes, je devrais faire une 3 boucles de 18000 itérations afin d'aller chercher la fiche d'un joueur dans ma table et d'en faire un traitement.

Voilà, je désire optimiser au maximum le temps que cela va prendre, je pense que le plus long est de récupérer les 18.000 fiches non ? Cela va dépendre du langage, de la qualité du code mais aussi de la connexion internet... Je dois tout de même ouvrir 18.000 pages d'un site officiel chaque semaine. (Le site le supporte sans problème et ne me bloque pas, j'ai déjà testé).

Quel est votre avis pour rendre cela le plus rapide (tout en étant pas trop compliqué, je n'ai pas un niveau de feu de Dieu :-) )

[l.bruninx]

Le temps dépendra effectivement du goulot d'étranglement de ton traitement: la récupération des données.

J'imagine que tu récupères des pages en html. Si c'est le cas, le volume de données acheminé sera énorme par rapport au volume de données effectivement conservé (et utile).

Si tu n'as pas d'autres moyens de récupération, on peut imaginer que tu devras créer un programme qui interrogera le serveur fiche par fiche au travers de ta connexion internet.

Donc les critères à garder à l'esprit seront très certainement la vitesse de ta connexion internet, la bande passante de l'interface du serveur, ainsi que le nombre maximum de requêtes simultanées auxquelles le serveur peut répondre.

Donc, si même tu as un super bon accès et un programme très performant, il faut voir si le serveur est capable de suivre et s'il ne dispose pas d'un système de protection contre une attaque D.O.S (dans ce cas, il faut temporiser les requêtes successives).

Sinon, pour être plus performant, une bonne programmation parallèle sera utile pour traiter plusieurs interrogations en même temps.

Je vais sûrement me répéter encore, mais il est plus facile d'utiliser un langage de scripts pour exécuter de tels opérations (automations).

Je te suggère d'aller voir cet exemple:
http://wsvn.abstrasy.net/index.php?u...d-url.abstrasy

En 4 lignes effectives, tu récupères le contenu d'une page (ici celle de google, mais cela peut être n'importe qu'elle page).

Pour ce qui est des expressions régulières, vois ceci:
http://www.abstrasy.net/odoc/STRING.php#regex

Pour écrire les données collectées dans un fichier:
http://wsvn.abstrasy.net/index.php?u...utput.abstrasy

Il me semble qu'il est peut-être possible de réaliser tous ton travail en moins de 100 lignes. Mais tu ne donnes pas trop de détails au départ. Va sur le site et renseigne toi directement, si cela t'intéresse. Vois si cela peut t'aider.

Sinon, il y a peut-être Python ou Perl. Mais je pense que le script sera être plus long à écrire même si ces langage sont plus communs.