Discussion :

[Invité]

Bonjour,

Après quelques mois sur Java, je reviens sur Delphi pour un projet perso.

Je souhaite récupérer le contenu d'une page, jusque la rien de plus simple ..
J'ai posé un TidHTTP sur mon appli et je l'utilise comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
procedure TForm3.Button2Click(Sender: TObject);
var
   s : string;
begin
   s := IdHTTP2.Get('https://www.whisky.fr/marque/jack-daniel-s.html');
   ShowMessage(s);
end;

Je ne sais pas pourquoi, pour cette page je récupère un javascript et non le code source comme ci j'allais le voir manuellement depuis mon navigateur..

Idem avec le AllowCookie et HandleRedirect, ou le composant TNetHttpClient.

Avez-vous déjà eu ce cas ?

Merci

[pprem]

Bonne question, aucune idée de la raison, un wget en console rapatrie bien le source du HTML.

Par contre tu devrais t'habituer à utiliser les composants TNetHTTPClient et TNetHTTPRequest si tu accèdes à des sites en https, au moins ça t'évitera les problèmes de mises à jour de la librairie SSL.

[SergioMaster]

Bonjour,

le fait de récupérer la page dans un String ne doit pas aider. Au premier caractère #0 rencontré => fin de ligne.

Je verrais plus une codification comme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
procedure TForm3.Button2Click(Sender: TObject);
var ms : TMemoryStream;
begin
ms:=TMemoryStream.Create;
try
  NetHTTPClient1.Get('https://www.whisky.fr/marque/jack-daniel-s.html',ms);
  ms.Position:=0;
  Memo1.Lines.LoadFromStream(ms);
finally
  ms.Free;
end;
end;

@patrick avec NetHttpClient pour te faire plaisir

[Paul TOTH]

mais que cherches-tu dans cette page ? car de fait cette page contient bcp de javascript (Ctrl+U sous Chrome pour voir la page telle qu'elle est chargée).

[aladin95]

et si c'était du JSON, comment le récupérer et le décoder ??

[blonde]

et si c'était du JSON, comment le récupérer et le décoder ??

tu récupères le contenu de le même façon

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sResponse := IdHTTP.Get('http://monUrlQuiRetourneDuJSON');

Et ensuite tu parses ton JSON pour obtenir les valeurs

Exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
aJSON := TJSONObject.Create;
aValue := aJSON.ParseJSONValue(sResponse);

Il doit y avoir des tutos sur le site pour la façon de parser le JSON. Tout dépendra de sa structure.

Si tu as une question particulière, tu peux ouvrir un nouveau sujet.

[aladin95]

merci de ta réponse.
mais j'ai une erreur ssl sur le GET

peut-on utiliser NetHTTPClient qui semble éviter ce problème mais que je n'arrive pas a utiliser.

[SergioMaster]

Bonjour,

La discussion de départ était sur une page web HTML. Comment en a t-on pu dériver sur du JSON ?

[aladin95]

ho ben c'est simple..
Je dois récupérer des données sur un site qui propose des API.

Par le débogueur REST ca passe pas.

Examinant les éléments de doc du site, j'ai trouvé que je peux récupérer une page web qui ressemble bougrement a du json avec une simple requête ou je peux ajouter les paramètres spécifiques aux données a récupérer.

Sur cette discussion, j'ai pu récupérer les données dans un fichier texte.
Donc reste a décoder le fichier texte pour rechercher mes données
OU essayer de récupérer du json direct et ce sera a priori plus facile a extraire les données utiles.

voila le cheminement ..

si tu veux plus de détails.. mais en privé car je veux pas saturer ledit site par les visiteur d'ici

[Paul TOTH]

merci de ta réponse.
mais j'ai une erreur ssl sur le GET

peut-on utiliser NetHTTPClient qui semble éviter ce problème mais que je n'arrive pas a utiliser.

"une erreur ssl"...c'est vague, mais c'est très probablement lié soit à la version de OpenSSL, Indy ne supporte pas la dernière version, soit à la version de TLS configurée, c'est souvent TLS 1.2 qui est réclamé ces temps ci.

mais ta question est comment récupérer du JSON, pas comment éviter une erreur SSL

[aladin95]

en complément d'info, voici le message de l'exception
Erreur lors de la connexion avec SSL. EOF : violation du protocole.

Je ne maitrise pas vraiment cette technologie (REST et JSON) alors je n'ai pas de préférence a propos de la méthode si j'arrive a gérer ces données.

merci a tous de votre aide

[ShaiLeTroll]

Peut-être que fournir le code pourrait aider à savoir ce qui aurait été oublié
Fournir aussi les paramètres fourni en Design Time et Run Time, surtout que le sujet c'était récupérer une page HTML et qu'il a été détourné vers un sujet JSON
On ignore la version de Delphi, on ignore si c'est du TidHTTP, TNetHTTPClient, TRESTClient, il faudrait déjà par bien définir cela

Si Indy, vos deux DLL SSL doivent surement être mise à jour, sachez que plein de logiciel les installe, il est possible de les récupérer sur son propre PC avant de se lancer sur le net à la recherche de binaire d'origine douteuse.

Par le débogueur REST ca passe pas.

Cela semble mal parti !

Essayer l'outil Postman !

[aladin95]

- Pour le moment, y a pas de code car je ne sais pas quelle méthode choisir.
- avec Postman ca marche mais pas avec débogueur REST.


j'ai expliqué mon cheminement ... une url et les données arrivent a priori en json en page web.
j'attends une analyse de Sergio..
je veux pas forcement mettre tout le monde sur le pont ;-)

merci .. je reviendrai peut-être..

[pprem]

Si REST Debugger ne passe pas (je suppose en version 10.4 ?), il faut tester un Get dans un THTTPClient (de System.net.HttpClient) pour voir ce que ça donne.

[SergioMaster]

Tout d'abord, un GROS PS je suggère de faire de cette partie JSON, une autre discussion, peut-être plus dans le sous-forum web. En cas d'accord je m'en chargerai, il me suffit d'un titre et d'un peu d'huile de doigts

Si REST Debugger ne passe pas (je suppose en version 10.4 ?),

Si, ça passe du moins en ai-je réussi une sans trop de difficulté, avec l'aide du site en question c'est une question de lecture

Un petit truc j'ai remarqué qu'il ne fallait pas utiliser la paramètre pretty qui est en fait l'utilisation de l'enjoliveur quand on passe directement par un explorateur web (c'est peut-être là que cala bloquait lors de tes essais)

[EDIT]
Ce matin, j'améliore ma réponse. Déjà en proposant une requête JSON qui fonctionne avec REST en pj (pour plus de facilité à renommer en .json), deux solutions différentes pour une même requête (une sans parmètre, l'autre avec)
et un petit écran REST pour montrer que c'est possible

Comme l'a justement indiqué Patrick, le REST debugger de la 10.4 est légèrement différent de celui de la 10.3 (lequel, brusquement, m'avait posé souci) j'ai donc aussi fait un test avec celui de la 10.3 qui fonctionne aussi.

Attention quand même les données ne sont pas toujours nickel chrome, surtout pour cette API Beta contenant des erreurs de type de colonne