Programme a mettre dans une boucle

**oliviernouhi** · 22/07/2011, 08h39

Bonjour,

Mon programme me renvoi tout les URL du site mis en paramètre.

Je voudrais mettre mon programme dans une boucle, afin qu'il me liste toutes les URL du site en paramètre, puis qu'il reface le traitement pour chacun des sites trouvé, etc...

Voici mon programme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
 
public class LinkExtract {
 
    public static void main(String[] args) {
        try {
            // Pour charger la page
            URL url = new URL("http://www.bde-ges.com");
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // Affichage des liens trouvé
                    System.out.println(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        }
    }
}

Comment faire svp ?

Merci d'avance.

**nretrain** · 22/07/2011, 08h44

Salut, je ne suis pas sur d'avoir compris mais je te propose de :
-mettre tout ton code dans une nouvelle méthode qui renvoie une list de String;
-remplacer ton System.out.println(link) par un taList.add(link);
-et dans ton main tu pourra faire ta boucle sur la liste retourné.

Ca répond à la question?

**oliviernouhi** · 22/07/2011, 08h50

salut,

merci pour ta réponse rapide.

Oui c'est exacte.

Peux tu m'aider stp ?

J'ai vraiment du mal en java, je débute.. :s

**nretrain** · 22/07/2011, 09h04

Si je reprend ton code, ça devrai faire (si je ne me trompe pas :p)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
 
    public static void main(String[] args) {
         List urlList = new List();
         urlList = collectURL();
         For(String url : urlList)
         {
          //ton traitement sur les URL
          }
     }

Et pour ta méthode que j'ai appelé collectURL :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
private List<String>collectURL(){
List urlList =new List();
 try {
            // Pour charger la page
            URL url = new URL("http://www.bde-ges.com");
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // ajout des liens trouvés à la List
                    urlList.add(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
return urlList;
        }
}

Je crois que ça doit être ça a peut pret.. j'ai supprimé les imports pour gagner de la place.

**oliviernouhi** · 22/07/2011, 09h11

merci je te suis bien sur la méthode collectURL

mais dans le main tu as écris //ton traitement sur les URL
c'est a dire ?
que dois je mettre dedans ?

**nretrain** · 22/07/2011, 09h15

Envoyé par oliviernouhi

merci je te suis bien sur la méthode collectURL

mais dans le main tu as écris //ton traitement sur les URL
c'est a dire ?
que dois je mettre dedans ?

A toi de voir, tu voulais faire une boucle sur tes url non?

Reexplique le but de boucler sur les url stp ^^

**oliviernouhi** · 22/07/2011, 09h18

Je voudrais juste afficher toutes les url trouver pour le moment.

comment faire ?

**nretrain** · 22/07/2011, 09h24

Ba ton premier code les affichait déjà non?
Ton problème est peut petre plus pour trouver les url que pour les afficher?

**oliviernouhi** · 22/07/2011, 09h28

Voila le code actuel que j'ai

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	public static void main(String[] args) {
        List urlList = new List();
        urlList = collectURL();
        For(String url : urlList)
        {
         // traitement sur les URL
         }
    }
 
    private List<String>collectURL(){
    	List urlList =new List();
    	 try {
            // Pour charger la page
            URL url = new URL("http://www.bde-ges.com");
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // ajout des liens trouvés à ma List
                    urlList.add(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
    	return urlList;
    	}
    }
}

Je pars d'une URL de base, mais après celle ci doit changer par celles trouver.
1ère url trouver => je vais avoir X résultats et après il faut relancer ce traitement sur les X resultats et ainsi de suite. Cela va faire une énorme araignée

Avec le code au dessus, qu'est ce que je dois rajouter pour que ça marche ?

Mon ancien traitement sur les URL c'était :

// Affichage des liens trouvés
System.out.println(link);

du coup comment afficher la list ?

ps : j'ai aussi des erreurs, le compilateur aime pas trop " private List<String>collectURL(){ " et le " For(String url : urlList) "

**nretrain** · 22/07/2011, 09h43

Ok, en gros tu veux parcourir l'arborescence du site. Je te conseille de découper ton code en plusieurs méthodes pour gagner en lisibilité.
Réfléchis sans penser en java, juste en pensant algorithmique (ça fait lgt pour moi :p) :

Tu as une fonction qui lance la première recherche, elle prend une url et en retourne plusieurs;
Elle est relancé pour chaque nouvelles url;
On arrete le processus quand il n'y a plus d'url.

Donc en rechangeant ton code ça fait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
 public static void main(String[] args) {
        collectURL("http://www.bde-ges.com");
 
     }

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
private void collectURL(String urlString){
 try {
            // Pour charger la page
            URL url = new URL(urlString);
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // ajout des liens trouvés à la List
                	System.out.println(link);
                	collecURL(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        }
}

Il y a ptet un problème avec la condition d'arret, j'ai un peu de mal ce matin

**oliviernouhi** · 22/07/2011, 09h58

ok merci super mais ça marche pas :s

il me met des erreurs sur :

URL url = new URL(url);
il me dit : change type of 'url' to String

et

return urlList;
il me dit : change method return type to 'List '

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	 public static void main(String[] args) {
	        collectURL("http://www.bde-ges.com");
	 }
 
	 private static void collectURL(String url){
		 List urlList =new List();
		  try {
             // Pour charger la page
             URL url = new URL(url);
             URLConnection uconnection = url.openConnection();
             Reader rd = new InputStreamReader(uconnection.getInputStream());
             // On lit le document
             EditorKit kit = new HTMLEditorKit();
             HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
             doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
             kit.read(rd, doc, 0);
             // Parcour des balises de lien
             HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
             while (it.isValid()) {
                 SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                 String link = (String) s.getAttribute(HTML.Attribute.HREF);
                 if (link != null) {
                     // ajout des liens trouvés à la List
                 	System.out.println(link);
                 	collectURL(link);
                 }
                 it.next();
             }
		 } catch (BadLocationException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
         } catch (IOException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
		 return urlList;
		 }
	 }
}

que faire ? si tu le met dans Eclipse le erreurs apparaissent

**nretrain** · 22/07/2011, 10h07

OUps, change le nom de la ton paramettre dans la méthode collectURL, sinon tu as deux variables avec le même nom.
Et il faut retirer le return du collectURL vu que maintenant c'est un void.
(J'ai édité mon code au dessus avec les changements)

**oliviernouhi** · 22/07/2011, 10h11

ok c'est fait mais j'ai toujours deux erreurs que je n'arrive pas à resoudre.. :s

voici le code actuel :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	 public static void main(String[] args) {
	        collectURL("http://www.bde-ges.com");
	 }
 
	 private static void collectURL(String myurl){
		 List urlList =new List();
		  try {
             // Pour charger la page
             URL url = new URL(url);
             URLConnection uconnection = url.openConnection();
             Reader rd = new InputStreamReader(uconnection.getInputStream());
             // On lit le document
             EditorKit kit = new HTMLEditorKit();
             HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
             doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
             kit.read(rd, doc, 0);
             // Parcour des balises de lien
             HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
             while (it.isValid()) {
                 SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                 String link = (String) s.getAttribute(HTML.Attribute.HREF);
                 if (link != null) {
                     // ajout des liens trouvés à la List
                 	System.out.println(link);
                 	collectURL(link);
                 }
                 it.next();
             }
		 } catch (BadLocationException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
         } catch (IOException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
		 return urlList;
		 }
	 }
}

pourrais tu m'aider pour la correction stp ?

**nretrain** · 22/07/2011, 10h15

retire le return à la fin et la déclaration de la list au début.
et fais le changement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

  URL url = new URL(url);

en

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

  URL url = new URL(myurl);

**oliviernouhi** · 22/07/2011, 10h19

ok c'est bon.

voici le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	 public static void main(String[] args) {
	        collectURL("http://www.bde-ges.com");
	 }
 
	 private static void collectURL(String myurl){
		  try {
             // Pour charger la page
             URL url = new URL(myurl);
             URLConnection uconnection = url.openConnection();
             Reader rd = new InputStreamReader(uconnection.getInputStream());
             // On lit le document
             EditorKit kit = new HTMLEditorKit();
             HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
             doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
             kit.read(rd, doc, 0);
             // Parcour des balises de lien
             HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
             while (it.isValid()) {
                 SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                 String link = (String) s.getAttribute(HTML.Attribute.HREF);
                 if (link != null) {
                     // ajout des liens trouvés à la List
                 	System.out.println(link);
                 	collectURL(link);
                 }
                 it.next();
             }
		 } catch (BadLocationException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
         } catch (IOException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
		 }
	 }
}

mais j'ai l'impression que je programme tourne en rond et reste sur la meme adresse.

tu as une idée?

**nretrain** · 22/07/2011, 10h24

Envoyé par nretrain

et fais le changement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

  URL url = new URL(url);

en

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

  URL url = new URL(myurl);

Tu as fait ça?

**oliviernouhi** · 22/07/2011, 10h25

oui mais ça tourne en rond toujours

**Rei Ichido** · 22/07/2011, 10h39

Envoyé par oliviernouhi

mais j'ai l'impression que je programme tourne en rond et reste sur la meme adresse.

tu as une idée?

Normal : quant tu trouves un lien, tu fais immédiatement un appel récursif à collectUrl.
Or il y a bien des chances que le site se référence lui-même (et donc tu peux tomber dans une boucle page1 -> page2 -> page1, voire même pour un HREF=# avoir du page1->page1 ...) ! Je te conseille donc de :
1. Avant d'aller collecter les URL d'un site, vérifier que tu ne l'as pas déjà visité.
2. Pour avoir une progression "en toile", faire la liste de tous les liens d'un site avant d'aller au niveau suivant.

**oliviernouhi** · 22/07/2011, 10h40

ok merci, comment faire svp en java ?
je suis vraiment débutant en java..
j'ai vraiment besoin de vous..

**nretrain** · 22/07/2011, 10h52

Je ne sais pas si c'est très propre mais je te propose :
avant le main

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

private List<String> visitedURL

dans le main avant d'appeler collectURL tu initialises ta list

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

List = new List()

et dans ta méthode, dans le if tu rajoutes la condition :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 if ((link != null)&&(!this.visitedURL.contains(link)) {

puis dans les instructions du if :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

this.visitedURL.add(link);

J'ose pas me relire..

Programme a mettre dans une boucle

Langage Java

Discussions similaires

Partager

Partager