Discussion :

[sara_atek]

Bonjour à tous !

J'aimerais récupérer le code html de yahoo finances' sous format json ou même html.

Je n'obtiens qu'une partie du code quand je lis le buffeur et quand je le parse en json, catastrophe ! Je n'ai qu'une suite de valeurs.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
var http      = require('http');
 buff = new Buffer(256);
var getData = function(){
    http.get('http://fr.finance.yahoo.com/actualites/', function(res){
        res.on('data', function(data){
        buff +=data;
        });
 
    res.on('end', function(){
              console.log(buff);
              console.log(JSON.parse(buff
        });
        res.on('error', function(e){
            console.log(e);
        });
    });
}
getData();

[SpaceFrog]

Avant d'aller plus loins dans ton code

Pose toi la question de la légalité de cette récupération ...

[sara_atek]

j'ai essayé sur d'autres sites ça donne toujours la même chose, je pense que j'ai un problème au niveau de mon code.. car si j'arrive à visualiser le code source d'une page web , je ne voie pas pourquoi je ne peux pas le récupérer ..

[SpaceFrog]

Au dela de la technique pure de code ou du site cible ...
A mon humble avis ce que tu fais n'est pas très légal ...

[sara_atek]

les données sont disponibles en téléchargement libre sur différents sites
ex: http://www.master272.com/VBA/donnees/VBA_yahoo.html
de toute façon ne ne peux malheureusement plus modifier mon projet qui est de gréer un outil d'aide a la gestion de portefeuilles....

[Kaamo]

Utilise les API proposées par Yahoo
Il doit peut-être y en avoir d'autres payantes pour plus d'informations sûrement.

[p3ga5e]

Salut !

Je note 2 erreurs dans ton code !

Tu ne peux pas concaténer 2 buffer par l’operateur +
Tu dois utiliser la méthode statique concat du type Buffer comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

buff = Buffer.concat([buff,data],buff.length+data.length);

Ensuite la méthode parse du type l’objet JSON attend comme 1er argument un string et non pas un Buffer!
tu doit donc le convertir comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

JSON.parse(buff.toString('ascii'))

Il faut spécifier a la méthode toString l’encodage de ta réponse HTTP , cela doit ce récupérer sur l’un des headers de la réponse

[sara_atek]

Merci de ton aide , mais cela me génère encore une erreur, et même si j'essaye de lire "buff" au lieux de "copy" il y a quand même une erreur donc ce n'es pas uniquement le parse qui ne fonctionne pas mais c'est toute la procédure de récupération de donnée..

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
var http      = require('http');
var timers    = require('timers');
var util      = require('util');
 
 
 
 var buff= new Buffer(256);
 
 
var getData = function(){
    http.get('http://fr.finance.yahoo.com/actualites/', function(res){
        res.on('data', function(data){
		buff = Buffer.concat([buff,data], buff.length + data.length);
        });
 
	res.on('end', function(){
 
			var copy = JSON.parse(buff.toString('UTF-8'));
			  console.log(copy);
 
        });
 
        res.on('error', function(e){
            console.log(e);
        });
 
    });
}
 
getData();

[p3ga5e]

Remplace buff.toString('UTF-8') par buff.toString('utf8') ! réfère toi a la doc de node

ensuite l'url http://fr.finance.yahoo.com/actualites/ ne retourne pas du JSON mais de l'HTML, donc c'est normal que la méthode parse plante !

[sara_atek]

Si cela renvoie une page HTML, pourquoi à l'affichage j'ai un tableau de valeurs : <Buffer 48 8b 6c ..>
ce qu'il a d'encore plus étrange c'est que je sais que la méthode :" buff += data" ne peut pas fonctionner car le "+" n'est pas surchargé , pourtant à l'affichage j’obtiens une partie de la page que je demande ! les scripts notamment ..

[p3ga5e]

lorsque l'on log un buffer dans la console cela affiche sous forme hexadécimal chaque octet de ton buffer

perso j'obtient bien la page HTML avec ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
require('http').get('http://fr.finance.yahoo.com/actualites/', function(res)
{
	var buff= new Buffer(0);
 
	res.on('data', function(data){
		buff = Buffer.concat([buff,data], buff.length + data.length);
	});
 
	res.on('end', function(){
		console.log(buff.toString('utf8'));
	});
 
	res.on('error', function(e){
		console.error(e);
	});
});

[sara_atek]

moi je n'obtiens qu'une partie de la page html, les balises sont toutes collées et il manque une bonne partie du début de la page
c'est bon ! je suis trop conne.. c'est juste qu'il fallait augmenter la taille de la mémoire tampon dans la commande du prompt

[ymoreau]

A mon humble avis ce que tu fais n'est pas très légal ...

Une page web accessible publiquement, qu'elle soit affichée dans un browser ou traitée dans un script ça ne fait pas de différence et c'est tout à fait légal.
Après certains sites vont bloquer des IP qui leur enverraient trop de requêtes à grande vitesse (par exemple des algos de recherche qui font des requêtes à un moteur de recherche dans une boucle). Il y a des accords particuliers pour les universités et les projets pour cette utilisation là, à négocier, mais bon je suppose que pour son cas ça ne sera pas un traitement à faire répétitivement.

[Bovino]

qu'elle soit affichée dans un browser ou traitée dans un script ça ne fait pas de différence et c'est tout à fait légal

Ah non, pas du tout !

Le droit de consultation est une chose, mais ça ne signifie pas tous les droits sur le contenu consulté.

C'est comme dans une bibliothèque : le fait que des livres soient consultables librement n'implique pas le droit d'appropriation, de modification, de reproduction ou quoi que ce soit de cet ordre là.

[fredoche]

le fichier robots.txt sert à donner les indications aux web crawlers

Tu aurais des refs là dessus Bovino ?

Et par ailleurs vous seriez pas dans le procès d'intention ?

le fait que des livres soient consultables librement n'implique pas le droit d'appropriation, de modification, de reproduction ou quoi que ce soit de cet ordre là

[Bovino]

C'est un peu la base de la propriété intellectuelle et du droit d'auteur...
Pour ce qui est des références, j'en avais, mais là, j'ai pas trop le temps ni la motivation de les retrouver.
Mais bon, en lisant le bas de page de l'URL donnée au premier message, on peut lire sans ambiguité

En vous rendant sur le site Yahoo!, vous vous engagez à ne pas reproduire les informations publiées sur cette page.