Discussion :

[langlois13]

Bonjour,

A titre d’exercice je voudrais récupérer des formats d’emails dans une page web.
A ce stade je peux à partir de mots clés, trouver une page web dans Google, la stocker en tant qu'objet BeautifulSoup.

Je n'ai pas besoin d'avoir l'adresse exactement délimitée, mais simplement sa forme générale pour un examen visuel.
Mon idée ce serait d’identifier les @ de la page. Puis d'extraire une chaine de caractères de longueur 40 environ centrée sur l'arobase.

Faut-il transformer l'objet de type BeautifulSoup en texte ou existe t'il d'autres fonctions de plus haut niveau ?

Cordialement,

[jurassic pork]

hello,
pour extraire des adresses email dans un texte on peut utiliser les expressions régulières. Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
>>> import re
>>> line = "should we use regex more often? let me know at  321dsasdsa@dasdsa.com.lol or dadaads@dsdds.com"
>>> match = re.findall(r'[\w.+-]+@[\w-]+\.[\w.-]+', line)
>>> match
['321dsasdsa@dasdsa.com.lol', 'dadaads@dsdds.com']

Ami calmant, J.P

[langlois13]

Bonjour,

La réponse à la question

should we use regex more often?

est oui !

Merci

[langlois13]

Bonjour,

J’ai poursuivi le développement du code qui fonctionne.

1 - La mise au point me vaut cependant une erreur
« HTTP Error 429: Too Many Requests »
Pourtant j’ai mis des pauses généreuses dans les instructions search et urlopen (10 secondes + random)
Que puis-je faire ?

2 - Voici la séquence pour la récupération des pages web et de leur contenu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
        try:
        	page= urllib.request.urlopen(j,timeout=(10+random.uniform(0, 2)))
       	except:
         	page= " "
       	try:
         	soup=bs(page, features="html.parser")
         	res = soup.get_text()
       	except:
         	res = " "

« j » est l’adresse de la page web.

Le premier try/except évite une erreur sur les pages dont la lecture par bs (beautifulsoup) nécessite un mot de passe.

J’ai inséré le second try/except parce que j’avais une autre erreur sur un mauvais décodage des pages.

Il me reste quelques avertissements dont je suppose qu’ils sont liés à cette erreur :

“Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER. “.
Il apparaissait aussi en warning des séquences de textes avec des symboles bizarres (carrés, ronds,...)
Pour l’instant je ne peux plus retrouver le code de l’erreur pour la raison expliquée au 1.

Y’a-t'il un moyen plus propre pour éviter les problèmes de décodage ?

3 – Je me suis rendu compte que la création d’un array vide (tableau = []) ne permettait pas d’indexer ultérieurement des positions des cet array (tableau[i] = expression)
Il a fallu que je crée un array de dimension n avec du texte vide (« ») pour pouvoir indexer les cellules par la suite.
Ce n’est pas grave mais y aurait-il une méthode plus élégante ?

Cordialement,

[langlois13]

Bonjour,

Je fais remonter ce sujet.

[jurassic pork]

Hello,

1 - La mise au point me vaut cependant une erreur
« HTTP Error 429: Too Many Requests »
Pourtant j’ai mis des pauses généreuses dans les instructions search et urlopen (10 secondes + random)
Que puis-je faire ?

sur des sites protégés contre les robots l n' y a pas que la fréquence de requêtes qui est vérifiée mais aussi le nombre de requêtes par adresse I.P ( par exemple 10 ou 100). Le seul moyen de contourner cette limitation c'est de passer par des proxys ( sorte d'intermédiaires dont l'adresse I.P est vue sur le site cible à la place de l'adresse I.P source de la requête).
Ami calmant, J.P