Discussion :

[herch]

salut à tous,

ce que je voudrais, c'est extraire tous les liens d'une page html (balise <a href ..>).... mais on obtient pas toujours ce qu'on veut

j'ai d'abord essayé ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Pattern.compile(".*?<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?>.*?");

cela marche bien, mais cette expression rate par exp les liens qui sont ainsi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<a href="http://site.com" title="titre" target="_blank">

donc j'ai essayé ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Pattern.compile(".*?<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?[^>]*>.*?");

sans succès
et cela aussi sans succès

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Pattern.compile(".*?<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?.*?>.*?");

si quelqu'un a une idée

[zorm]

Bonjour,

Le problème est que tu ne prévois pas dans ton expression qu'il y ait d'autres attributs. Un problème est qu'il n'y a pas d'ordre dans l'écriture des attributs, donc le href n'est pas forcement après le <a ...
Un solution serait de dire d'accepter tout caractère avant et après le href du moment que c'est bien encadré par le <a

Ainsi:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

.*?<a\\s+.*href\\s*=\\s*[\"']?([^\"'>]*)[\"']?.*>.*?

Maintenant, penses tu que ça soit la meilleure solution? tu pourrais aussi utiliser un parseur HTML pour ça...

[herch]

salut, et merci pour la réponse,

c'est vrai que je n'avais pensé à cette éventualité, vu que presque tout le monde mets href en premier, mais c'est vrai qu'on ne sait jamais

mais le problème vient principalement des attributs après le href
quand je fais ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

"<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?.*?>"

cela devrait correspondre à un truc du genre

<a href="http://monsite.com" unAttribut="valeur">

et le dernier .* devrait correspondre à ( unAttribut="valeur"), et l'appel de group(1) devrait le retourner (http://monsite.com) mais c'est pas le cas

[adiGuba]

Salut,


Si tu veux uniquement récupéré les URLs, autant recherché uniquement les href :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Pattern.compile("href=([\"'])(.*?)\\1", Pattern.CASE_INSENSITIVE)

a++

[gifffftane]

Retrouver les href avec des regexp dans tous les cas imaginables qui peuvent se produire sur le web, c'est mission impossible.

Donc, soit tu te donnes un sous ensemble et tu nous dis lequel (par exemple tu admets ne pas tenir compte des commentaires html, etc), soit tu devras utiliser un parser html.

[herch]

salut,

c'est vrai qu'en ne cherchant que les href, ça simplifie énormément l'expression.

et c'est vrai aussi, je viens de m'en rendre compte, que ce serait du vrai masochisme que d'essayer de faire ce que je veux avec seulement des regex, donc, je crois que finalement je me tournerais vers un parser html.

auriez vous un parser spécifique à me conseiller??

et merci pour vos réponses

[gifffftane]

Peut être NekoHTML.

[herch]

salut,

je viens de faire un tour dans leur site, mais j'avoue que je n'ai pas très bien compris leurs exemples

par contre, je viens de tester htmlparser, et elle me convient parfaitement

voici un petit exemple qui extrait les liens d'une page passé en argument pour le main

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
 
public class ExtractLinks {
 
	public static void main(String[] args) {
		NodeList list;
		Parser parser;
		NodeFilter filter = new NodeClassFilter(LinkTag.class);
		try {
			parser = new Parser(args[0]);
			//j'avais des problèmes à lire des pages en arabe, c'est pour cela que j'ai ajouté cette ligne
			parser.setEncoding("utf8");     
			list = parser.parse(filter);
			for (int i = 0; i < list.size(); i++) {
				LinkTag linkTag = (LinkTag)list.elementAt(i);
				System.out.println(linkTag.extractLink());
			}
		} catch (ParserException e) {
			e.printStackTrace();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}