file_get_contents : récupérer le contenu d'une page internet

**yarol** · 07/10/2023, 12h40

Bonjour,

Inscrire le <script src="https://services.data.shom.fr/hdm/vignette/grande/PORNIC?locale=fr"></script> sur une page internet, permet de générer un vignette faite par le site Shom.
Quand on regarde la page https://services.data.shom.fr/hdm/vi...RNIC?locale=fr, elle affiche le code javascript qui permet de générer la vignette.

Jusqu'à il y a 3 jours, je récupérais ce texte grâce à file_get_contents() et j'en faisais mon affaire (oui, ce n'est pas dans les conditions générales mais mon usage est restreint et sans aucun objet commercial).
Aujourd'hui ça ne fonctionne plus. au bout 1 ou 2 minutes, file_get_contents() renvoie false.

Z'avez vous pourquoi ? et sauriez vous me dire comment récupérer à nouveau le texte ?

J'ai essayé de modifier le context ... sans succès :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
	$options = array(
		'http' => array(
			'method' => "GET",
			'user_agent' => "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/118.0"
		)
	);
	$contexte = stream_context_create($options);
	$auxdata = file_get_contents("https://services.data.shom.fr/hdm/vignette/grande/".$ville."?locale=fr", false, $contexte);

Merci d'avance pour votre aide.

**Séb.** · 07/10/2023, 13h15

De mon coté, ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
<?php
$options = array(
'http' => array(
'method' => "GET",
'user_agent' => "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/118.0"
)
);
$contexte = stream_context_create($options);
$ville = 'PORNIC';
$auxdata = file_get_contents("https://services.data.shom.fr/hdm/vignette/grande/".$ville."?locale=fr", false, $contexte);
print_r($auxdata);

Et cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
<?php
$ville = 'PORNIC';
$auxdata = file_get_contents("https://services.data.shom.fr/hdm/vignette/grande/{$ville}?locale=fr");
print_r($auxdata);

Donnent immédiatement un résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
var rid="vignette_shom_"+Math.round(Math.random()*10000000);
document.write("<iframe width='675' id='"+rid+"' height='900' frameborder='0' scrolling='no'></iframe>");
var ifrm = document.getElementById(rid);
ifrm = (ifrm.contentWindow) ? ifrm.contentWindow : (ifrm.contentDocument.document) ? ifrm.contentDocument.document : ifrm.contentDocument;
ifrm.document.open();
ifrm.document.write('<!DOCTYPE html>');
ifrm.document.write('<html>');
ifrm.document.write('<head>');
....

Affiche les erreurs et/ou vérifie ton log d'erreurs.

**yarol** · 07/10/2023, 13h26

Merci pour ta réponse.

Envoyé par Séb.

Et cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
<?php
$ville = 'PORNIC';
$auxdata = file_get_contents("https://services.data.shom.fr/hdm/vignette/grande/{$ville}?locale=fr");
print_r($auxdata);

C'est globalement ce que je faisais et ça fonctionnait jusqu'il y a 3 jours.
J'ai refait le test à l'instant avec ces 4 lignes .... au bout de 2 minutes, il s'affiche une page vide.

Envoyé par Séb.

Affiche les erreurs et/ou vérifie ton log d'erreurs.

Je ne crois pas avoir accès au log d'erreur de mon hébergeur externe.

**yarol** · 07/10/2023, 13h48

Je viens d'installer easyphp chez moi.
La page se charge correctement grâce à file_get_contents.
Je suis perplexe sur l'origine du problème : le site chez mon hébergeur serait blacklisté ? le chargement de la page a fonctionné un gros mois.

**yarol** · 07/10/2023, 14h30

J'ai testé via un autre nom de domaine au sein du même hébergeur et ça donne le même résultat.
Le fait d'être en php 7.4 serait-il un problème ? une option à paramétrer ?

**binarygirl** · 07/10/2023, 20h49

Vous pourriez essayer de pomper cette page avec le module Curl par exemple. Comme cela vous auriez le status code et éventuellement un message d'erreur. Je n'ai pas regardé, mais ça ressemble à une API et ne serais pas étonnée qu'il y ait du rate limiting. SI vous faites trop de requêtes, vous pourriez être bloqué pendant un certain temps. Mais avec cette fonction vous n'avez aucune visibilité.

**yarol** · 07/10/2023, 23h17

Je ne connais pas cURL. J'ai tenté ceci mais ça ne marche pas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://services.data.shom.fr/hdm/vignette/grande/PORNIC?locale=fr");
curl_setopt($ch, CURLOPT_HTTPGET, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$auxdata = curl_exec($ch);
curl_close($ch);	
echo $auxdata."<br>";

**binarygirl** · 08/10/2023, 00h14

Je ne m'attendais pas à ce que ça fonctionne

c'est juste pour avoir plus de lisibilité en récupérant le status code et éventuellement un message d'erreur.
CURLOPT_POST peut être retiré car vous faites une requête GET, pas POST. CURLOPT_HTTPGET n'est pas nécessaire non plus. Par défaut, c'est une requête GET qui est faite.

Ceci dit, il est parfaitement possible que le service consulté soit défaillant, ou contrarie les robots (réels ou supposés), c'est bien pour cette raison que consulter le status code est un minimum quand on consomme une API.

file_get_contents : récupérer le contenu d'une page internet

Langage PHP

Discussions similaires

Partager

Partager