Discussion :

[KINENVEU]

Bonjour,

Je voudrais accéder (via python) a une page en HTTPS.

Pour une page en HTTP, j'aurai fait de la manière suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import urllib2
 
#
userAgent = "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0"
print "userAgent:", userAgent
 
#
url = "http://www.developpez.com"
## url = "https://wiki.python.org"
print "url:", url
 
#
headers = { "User-Agent" : userAgent }
myRequest = urllib2.Request(url, data=None, headers=headers)
 
#
try: 
    response = urllib2.urlopen(myRequest)  
    print "response.code, response.msg: %s, %s"%(response.code, response.msg)
except IOError, e: 
    if hasattr(e, 'code'): # HTTPError 
        print 'http error code: ', e.code 
    elif hasattr(e, 'reason'): # URLError 
        print "can't connect, reason: ", e.reason 
    else: 
        raise

ce qui me donne la réponse suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
userAgent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0
url: http://www.developpez.com
response.code, response.msg: 200, OK

Lorsque je change l'url pour une autre en HTTPS, j'obtiens le résultat suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
userAgent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0
url: https://wiki.python.org
can't connect, reason:  [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)

Après un peu de recherche sur le net et dans la doc d'urllib2,
je crois comprendre que ce qu'il manque, c'est le paramétrage de l'opener pour qu'il gère la connexion SSL.
Je fais l'essai suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
import urllib2
import ssl
 
#
userAgent = "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0"
print "userAgent:", userAgent
 
#
## url = "http://www.developpez.com"
url = "https://wiki.python.org"
print "url:", url
 
#
headers = { "User-Agent" : userAgent }
myRequest = urllib2.Request(url, data=None, headers=headers)
 
# creation d'un opener configure pour une connexion SSL
# ???
context = ssl.create_default_context()
myHTTPSHandler = urllib2.HTTPSHandler(context=context)
myOpener = urllib2.build_opener(myHTTPSHandler)
urllib2.install_opener(myOpener)
 
#
try: 
    response = urllib2.urlopen(myRequest)  
    print "response.code, response.msg: %s, %s"%(response.code, response.msg)
except IOError, e: 
    if hasattr(e, 'code'): # HTTPError 
        print 'http error code: ', e.code 
    elif hasattr(e, 'reason'): # URLError 
        print "can't connect, reason: ", e.reason 
    else: 
        raise

et j'obtiens le même résultat:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
userAgent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0
url: https://wiki.python.org
can't connect, reason:  [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)

Si quelqu'un pouvait m’éclairer sur ce que je fais mal, je lui en serai grandement reconnaissant.
merci par avance.

[BufferBob]

salut,

avec le tout premier code que tu donnes et en remplaçant l'url par https://wiki.python.org j'obtiens un OK perso.

[VinsS]

Salut,

Je confirme, le premier code répond bien.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
userAgent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0
url: http://www.developpez.com
response.code, response.msg: 200, OK
....
userAgent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0
url: https://wiki.python.org
response.code, response.msg: 200, OK

[cervo]

Je confirme. je pense que tu peux te lancer maintenant !

[KINENVEU]

c'est une bonne nouvelle que ça marche chez vous.

pouvez-vous s'il vous plait lancer le code suivant:
c'est juste pour voir si ça me donne des pistes.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import urllib2
import ssl
import sys, platform
 
#
print "platform.system(), platform.release(), platform.version():", platform.system(), platform.release(), platform.version()
print "sys.version:", sys.version
print "ssl._OPENSSL_API_VERSION:", ssl._OPENSSL_API_VERSION
 
#
userAgent = "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0"
print "userAgent:", userAgent
 
#
## url = "http://www.developpez.com"
url = "https://wiki.python.org"
print "url:", url
 
#
headers = { "User-Agent" : userAgent }
myRequest = urllib2.Request(url, data=None, headers=headers)
 
# creation d'un opener configure pour une connexion SSL
# ???
## context = ssl.create_default_context()
## myHTTPSHandler = urllib2.HTTPSHandler(context=context)
## myOpener = urllib2.build_opener(myHTTPSHandler)
## urllib2.install_opener(myOpener)
 
#
try: 
    response = urllib2.urlopen(myRequest)  
    print "response.code, response.msg: %s, %s"%(response.code, response.msg)
except IOError, e: 
    if hasattr(e, 'code'): # HTTPError 
        print 'http error code: ', e.code 
    elif hasattr(e, 'reason'): # URLError 
        print "can't connect, reason: ", e.reason 
    else: 
        raise

ça me donne le résultat suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
platform.system(), platform.release(), platform.version(): Windows XP 5.1.2600
sys.version: 2.7.9 (default, Dec 10 2014, 12:24:55) [MSC v.1500 32 bit (Intel)]
ssl._OPENSSL_API_VERSION: (1, 0, 1, 10, 15)
userAgent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:24.0) Gecko/20100101 Firefox/24.0
url: https://wiki.python.org
can't connect, reason:  [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)

Est-ce que vous avez une configuration particuliere de SSL ?

merci.

[BufferBob]

c'est une bonne nouvelle que ça marche chez vous.

n'est-ce pas

pouvez-vous s'il vous plait lancer le code suivant (...)

c'est le même code que celui que tu as posté plus haut, avec quelques print en plus, donc même résultat (testé) ça me retourne bien un 200 OK

Est-ce que vous avez une configuration particuliere de SSL ?

non ssl._OPENSSL_API_VERSION retourne 1.0.2.1.15 chez moi

• est-ce que quand tu vas sur https://wiki.python.org avec ton navigateurs tu as un avertissement concernant le certificat ?
• est-ce que ça pourrait être un proxy/antivirus/firewall/autre sur ta machine qui filtre ?
• quelle est ta version de python et d'urllib2 ? (vu sur l'output précédent, python 2.7.9 sur Windows XP, SSL 1.0.1.10.15)

Edit: trouvé sur le net, il semble que ça corresponde au problème que tu décris : https://github.com/mtschirs/quizduel...mment-67207159

[KINENVEU]

tu es sur quelle version de python ? sous quel os ?
c'est ce genre de chose que je voulais savoir.

[*] est-ce que quand tu vas sur https://wiki.python.org avec ton navigateurs tu as un avertissement concernant le certificat ?

pas d'avertissement, ça marche bien. je suis juste redirige vers : https://wiki.python.org/moin/

est-ce que ça pourrait être un proxy/antivirus/firewall/autre sur ta machine qui filtre ?

pas a ma connaissance.


normalement, ce n’était pas sensé fonctionner le fetch urllib2 avec https.
c'est pourquoi je voulais faire le paramétrage du handler HTTPS dans l'opener.

mais comme ça fonctionne chez vous, je voudrais savoir pourquoi, pour pouvoir le faire fonctionner chez moi.

[KINENVEU]

avec cette modification:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
if hasattr(ssl, '_create_unverified_context'):
  ssl._create_default_https_context = ssl._create_unverified_context

ça a l'air de fonctionner chez moi.

je regarde ça plus en détails des que j'ai un peu de temps.

[BufferBob]

tu es sur quelle version de python ? sous quel os ?

j'ai pas précisé effectivement, je suis en python 2.7.10 sous win ici

pas d'avertissement, ça marche bien. je suis juste redirige vers : https://wiki.python.org/moin/

comportement HTTP normal donc

normalement, ce n’était pas sensé fonctionner le fetch urllib2 avec https.
c'est pourquoi je voulais faire le paramétrage du handler HTTPS dans l'opener.

jusqu'à assez récemment Python ne vérifiait pas si le certificat était valide ou non, on trouve une entrée dans le bugtracker mais difficile de dire quelles versions prennent en compte le changement (dans le précédent lien que je t'ai donné il est question de 2.7.9 comme version charnière)

au flairomètre, mettre à jour Python doit solutionner ton problème, à vérifier.

Edit: dans le changelog on trouve la référence au bug #22417 "verify HTTPS certificates by default" sous la version 2.7.9rc1

[KINENVEU]

d’après ce que je lis, il vaut mieux changer le comportement au niveau de la requête, plutôt qu'au niveau de la bibliothèque.
Cela évite de le propager a d'autres endroits.

cf. : https://www.python.org/dev/peps/pep-0476

donc la modification se fait comme suit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
myContext = ssl._create_unverified_context()
response = urllib2.urlopen(myRequest, context=myContext)

Ça me permet d'obtenir la page que je voulais, mais finalement ce n'est pas terrible niveau sécurité/principe.

Normalement, urllib vérifie "dans la bdd système" le certificat.
c'est cette étape qui semble coincée.

Est-ce que quelqu'un sait comment accéder a cette bdd ?
éventuellement pouvoir valider manuellement le certificat du serveur une fois afin qu'il le reconnaisse tout simplement a chaque requête ?
J'ai l'impression que c'est plutôt comme ça qu'il faudrait faire. non ?