Discussion :

[bougnbie]

Bonjour à tous.
Tout d'abord je tiens à m'excuser si la section n'est pas la bonne. Je tente de résoudre un problème qui m'est assez difficile;
Je veux extraire des donnés sur une page web.
En l’occurrence, par exemple sur cette page: http://www.decathlon.fr/vtt-rockride...entProductAvis

En bas de cette page.
Je voudrais récupérer les commentaires en deuxième page (de commentaires).

Le problème de l'extraction des commentaires en première page est simple puisqu'ils sont directement écrits dans le code source de la page. Mais pour les pages suivantes (pages de commentaires), un script javascript modifie les données affichées sans modifier le code source et je n'ai donc plus accès aux commentaires de la deuxième page de commentaire.

Je ne sais pas si c'est assez clair. Je voulais savoir si quelqu'un avait une idée de piste pour résoudre ce genre de problème?

Merci d'avance.

[Kaamo]

Pas besoin. Les commentaires de toutes les pages sont inclus dans la page source directement.
Appuyer sur les boutons pour accéder aux pages de commentaires n'a pour effet que de cacher/afficher les div relatives aux pages.

Donc tu dois avoir accès à tous les commentaires directement

[SpaceFrog]

A priori ce n'est pas toi qui code ces pages ...

Donc vouloir récupérer des informations contenues dans ces pages sans l'autorisation expresse de leur propriétaire est une infraction pénale !!!!

[Bovino]

Appuyer sur les boutons pour accéder aux pages de commentaires n'a pour effet que de cacher/afficher les div relatives aux pages.

Pas forcément, ils peuvent être ajoutés avec AJAX.

Le problème de l'extraction des commentaires en première page est simple puisqu'ils sont directement écrits dans le code source de la page.

Simple ? Pas en JavaScript en tout cas : tu es limité par la Same Origin Policy...

Mais en tout état de cause, la légalité de la demande est effectivement plus que douteuse.

[p3ga5e]

Je voulais savoir si quelqu'un avait une idée de piste pour résoudre ce genre de problème?

Salut !
Tu peux soit monitorer toutes les requetes asynchrones effectués lors d’un clique sur la deuxième page (apparemment c’est cette URL).

Soit utiliser PhantomJS qui permet de nombreuses choses, comme simuler un clique sur une page et manipuler le DOM en javascript

[Kaamo]

Pas forcément, ils peuvent être ajoutés avec AJAX.

Ce n'était pas une hypothèse, j'ai vérifié dans le code de la page en question avant de répondre. Mais en effet, j'avais qu'à moitié raison.
A priori, au chargement de la page, deux pages de commentaires sont ramenées. (afficher la source de la page en question pour remarquer que les commentaires de la page 2 sont déjà présents), le reste est ramené en asynchrone effectivement.

Pourquoi cela serait illégal de récupérer des commentaires via un script ? Si on part du principe que si on y a accès en lecture. Je pense que c'est illégal si ensuite tu en fais une utilisation commerciale

[Bovino]

Dans une librairie, les livres sont disponibles en consultation publique, c'est pas pour ça que tu as le droit d'en prendre un et de le photocopier.

[bougnbie]

Merci pour vos réponses.

Tout d'abord pour le coté légalité; mon seul intérêt est de pouvoir faire ce genre de choses "théoriquement", en aucun cas ces données m’intéressent particulièrement. Et certainement pas à des fins commerciales.

L'exemple de la page 2 était peut être pas tout à fait parlant; je veux pouvoir chopper les commentaires qui sont justement ramenés en asynchrone.

Encore une fois la page 1 est facile à récupérer puisque tout est accessible dans le source directement.

Merci beaucoup à vous en tout cas, surtout p3ga5e, je vais jeter un oeil à ton lien, c'est tout à fait ce que je veux!
Par contre comment as-tu fais pour monitorer les requêtes asynchrones? c'est quelque chose que j'ai essayé de faire sans succès. C'est également possible en faisant ça d'accéder aux pages 3,4...etc?

[SpaceFrog]

Tout d'abord pour le coté légalité; mon seul intérêt est de pouvoir faire ce genre de choses "théoriquement", en aucun cas ces données m’intéressent particulièrement. Et certainement pas à des fins commerciales.

Developpez n'est pas là pour donner des moyens théorique de faire du leeching !