Discussion :

[guenfood]

Bonjour,

Je cherche à créer une page qui m'ouvrirait (et fermerait) toutes les pages d'un site dont l'url dispose d'une donnée variable.

Je m'explique.
Le site dispose de pages composées comme suit : http://www.urldusite/RepertoireVariable/RepertoireFixe

En ouvrant ces pages, cela télécharge un fichier.

Seul le RepertoireVariable, qui correspond à un nombre compris entre 9782000000000 et 9799999999999, change.

J'ai tenté en local sur mon pc avec une ligne de commande telle que ci-dessous :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
echo off
For /L %%i IN (9782000000000,1,9799999999999) do chrome.exe http://www.urldusite/%%i/RepertoireFixe/
exit

Mais la variable est tronquée une fois lancée car trop longue, et les onglets du navigateurs sont ouverts mais pas fermés.

Je souhaite donc passer par un script php en local (via wampserver) pour exécuter ceci en espérant que cela me permettra de pouvoir générer une variable qui fonctionne correctement.

Je précise que j'ai déjà tenté avec des aspirateurs de site et Wget pour arriver à mes fins, mais je n'ai pas réussi à trouver la façon de prendre en compte la partie variable de l'url.

Si quelqu'un a une idée, je suis preneur, car je sèche.
Merci par avance.

[sabotage]

PHP n'ouvre pas de pages.
Comme je suppose que ton but est de recuperer le fichier, il faudrait voir si

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Copy('http://www.urldusite/9782000000000/RepertoireFixe', 'monfichier.extension');

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

readfile(http://www.urldusite/9782000000000/RepertoireFixe');

donnent quelque chose

[guenfood]

Cela ne fonctionne pas avec readfile.

Mais je viens de tester avec du javascript avec le code suivant et ça fonctionne.
Mais il reste toujours la partie variable à intégrer.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
<script type="text/javascript">
    var win = window.open("http://www.urldulien/RepertoireVariable/RepertoireFixe/","mywindow");
    var interval;
    function closePopup()
    {
        win.close();
        clearInterval(interval);
    }
    interval=setInterval(closePopup,2000);
</script>

[SylvainPV]

Je suppose que tu n'es pas propriétaire du site en question ?

[guenfood]

Non, je ne suis pas propriétaire du site.
Chaque ouverture de page déclenche le téléchargement d'un fichier qui est en libre accès par le site en question.
Mais comme il y a plusieurs milliers de fichiers, je souhaiterais en automatiser le téléchargement.

[NoSmoking]

Bonsoir,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
var deb = 9782000000000,
    fin = 9799999999999,
    url, i;
for( i=deb; i< fin; i++){
  url = 'http://www.urldusite/' +i +'/RepertoireFixe/';
  console.log( url);
}

Attention cela peut être long, très long!

[guenfood]

Merci pour la réponse.

Je suis en train de tester. Et effectivement.... c'est très long

Pour le moment, la page "mouline", mais rien ne se passe. Aucun fichier n'est téléchargé après plusieurs minutes.

Voilà le code utilisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<script type="text/javascript">
    var deb = 9782000000000,
    fin = 9799999999999,
    url, i;
for( i=deb; i< fin; i++){
  url = 'http://www.librairiedialogues.fr/ws/book/' +i +'/unimarc_utf-8/';
  var win = window.open(url,"mywindow");
    var interval;
    function closePopup()
    {
        win.close();
        clearInterval(interval);
    }
    interval=setInterval(closePopup,2000); 
}
 
</script>

Peut-être devrais-je rajouter un élément pour passer à url suivante si url est inexistante ?
Du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

if(!aElem[url].href) continue;

[SylvainPV]

Juste pour être sûr, est-ce que tu as conscience qu'avec ce code tu essaies d'ouvrir 10 MILLIARDS de popups en même temps ?
Cela m'étonnerait que ce site propose autant de fiches de livre. Il doit s'agir d'une référence interne très variable.

J'ignore pourquoi tu cherches à récupérer l'intégralité de ces fichiers mais je pense que la meilleure chose à faire serait de demander gentiment aux propriétaires du site s'ils peuvent t'envoyer un ZIP avec les données. Et s'ils refusent, alors peut-être qu'on ne devrait pas t'aider.

[Bovino]

tu as conscience qu'avec ce code tu essaies d'ouvrir 10 MILLIARDS de popups en même temps ?

Et aussi que tu crées 10 milliards de fois la même fonction, 10 milliards de fois le même timer que du reste tu essayes de détruire 10 milliards de fois !

[guenfood]

Et aussi que tu crées 10 milliards de fois la même fonction, 10 milliards de fois le même timer que du reste tu essayes de détruire 10 milliards de fois !

C'est la raison pour laquelle je viens sur ce forum
Pour savoir si c'est possible d'une part, et comment procéder d'autre part.

Si le code n'est pas bon ou si ce que je souhaite n'est pas possible, pas de soucis.
Si c'est possible, même si ça prend du temps, je pense que la fonction peut être utile aussi à d'autres personnes.

[Watilin]

10 milliards de requêtes HTTP, dont au final 95% renvoient une 404, c'est une catastrophe écologique. Je ne peux pas cautionner ça.

Le site utilise des identifiants uniques pour créer les adresses de ses fichiers. Il est vital que tu aies accès à une liste (au moins partielle) de ces identifiants, car tester dans le vide 10 milliards d'adresses ce n'est pas raisonnable. Faisons un bref calcul avec des hypothèses grossières :

1. Ton navigateur (et ton OS, et ta box) peut faire 256 requêtes HTTP en même temps (j'ai pris cette valeur dans la config par défaut de Firefox). En réalité, c'est certainement beaucoup moins. Et quand bien même, en générant autant de requêtes vers la même destination, tu pourrais te faire bannir par le serveur ou un proxy pour tentative de DoS.
2. Une requête HTTP vers le serveur prend invariablement 500 ms aller-retour. C'est une hypothèse généreuse : une bonne connexion haut débit, un serveur pas surchargé, ça doit être les heures creuses, c'est pour ça.

Avec ça, tu peux faire 256 * 2 requêtes par seconde, et tu atteins le nombre de 10 milliards de requêtes en 19 531 250 secondes, soit :
226 jours, 1 heure, 20 minutes et 50 secondes !

[NoSmoking]

10 Milliards, 10 Milliards vous n'avez que ce mot à la bouche alors je veux bien prendre la différence (fin-deb) -10000000000.