Discussion :

[Mysti¢]

Bonsoir, j'essaye de recuperer les resultats que donne un moteur de recherche dans un programme.

Le probleme c'est qu'avec google (que je souhaite utilise) la requete que j'effectue me retourne une erreur.

Par exemple juste avec le code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
import urllib2
urllib2.urlopen("http://www.google.com/seach?q=mot")

J'obtiens :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
File "K:\Python25\lib\urllib2.py", line 499, in http_error_default
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 403: Forbidden

Est ce qu'il y'a un moyen de contourner cette erreur par exemple en modifiant le header de la requete ?

Merci d'avance.

[Guigui_]

et en utilisant urllib ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
import urllib
urllib.urlopen("http://www.google.com/seach?q=mot")

[Mysti¢]

search* pas search dans l'url (petite faute de frappe)

Sinon urllib j'avais deja essaye, le resultat est sensiblement le meme, juste un peu plus details.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
import urllib
query = urllib.urlopen("http://www.google.com/search?q=mot")
f = open("out.html", "w")
f.write(query.read())
f.close()

Le contenu de mon fichier HTML de sortie commence par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Forbidden
Your client does not have permission to get URL /search?q=mot from this server. (Client IP address: xx.xxx.xxx.xxx)
 
Please see Google's Terms of Service posted at http://www.google.com/terms_of_service.html

[Mysti¢]

Trouve, c'etait bien possible en modifiant le header

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
request = urllib2.Request('')
request_headers = { 'User-Agent': 'MyBrowser/0.1' }
request = urllib2.Request('http://www.google.com/search?q=mot', None, request_headers)
query = urllib2.urlopen(request)

Resolu