Méthode récursive en Java

**kalare** · 15/07/2014, 12h52

bonjour

ce que j'essaye de faire est un programme java qui utilise une méthode récursive pour récupérer tous les liens d'une page web et les page web
des autre site externe.

voici mon code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
 
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
package aspirateur.refanor.aaa.etape1;
 
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.ProtocolException;
import java.net.URL;
import java.util.logging.Level;
import java.util.logging.Logger;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
/**
 *
 * @author sofiene
 */
public class Extraction3 {
int r = 0;
int code;
//    public String Url = null;
    URL urll;
    public String EtapeExtraction (String Url) throws IOException{
    r++;
//On se connecte au site et on charge le document html
        org.jsoup.nodes.Document doc = Jsoup.connect(Url).get();
//On récupère dans ce document la premiere balise ayant comme nom h1 et pour attribut class="title"
 
        Elements links = doc.select("a[href]");
 
        System.out.println("\nlink Boucle  : " +r+ links.get(r).attr("href"));
TestUrl ee = new TestUrl();
boolean resultat = ee.testUrla(links.get(r).attr("href"));
 
    TestUrl ll = new TestUrl();
      if (ll.testUrla(Url) == false){
    // Url = "http://wwww.wwww.fr";
  //Url = links.get(r).attr("href");
 
      }
 
    try {
        urll = new URL (Url);
 
    } catch (MalformedURLException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
HttpURLConnection huc = null; 
    try {
        huc = ( HttpURLConnection )  urll.openConnection ();
    } catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
    try {
        huc.setRequestMethod ("GET");  //OR  huc.setRequestMethod ("HEAD"); 
    } catch (ProtocolException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
    try { 
        huc.connect () ;
 
    } catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
 
 
try {
        code = huc.getResponseCode();
System.out.println(code);
} catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
 
if (code != 200){
    System.out.println("erreur de Url");
 
}
          System.out.println(".......;;;"+Url);  
 
if (r < 2000){
       System.out.println("..."+r);
       //System.out.println("..."+LesUrl);
 
        for (Element LiensA : links){
    System.out.println("???????"+LiensA.attr("href"));
  Url = EtapeExtraction (LiensA.attr("href"));
        }
 
 
 
}    
 
        return Url;
    }
 
    public static void main (String[] args){
    Extraction3 ext3 = new Extraction3();
    try {
        ext3.EtapeExtraction("http://referencement-annuaire-web.fr/");
    } catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
 
    }
}

**adiGuba** · 15/07/2014, 12h55

Salut,

Et quel est le problème ?
Sinon le code n'est pas indenté et rempli de try/catch... c'est totalement illisible !

a++

**kalare** · 15/07/2014, 13h14

désoler

je n'est pas envoyer le bon code.
ce que je cherche a faire c'est une app pour parcourirs tous le web tous les sites web
pour les url des sites web

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
 
/*
 * To change this license header, choose License Headers in Project Properties.
 * To change this template file, choose Tools | Templates
 * and open the template in the editor.
 */
 
package aspirateur.refanor.aaa.etape1;
 
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.ProtocolException;
import java.net.URL;
import java.util.logging.Level;
import java.util.logging.Logger;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
 
/**
 *
 * @author sofiene
 */
public class Extraction3 {
int r = 0;
int code;
String[] TableUrlA;
//    public String Url = null;
    URL urll;
    public String EtapeExtraction (String Url) throws IOException{
    r++;
//On se connecte au site et on charge le document html
        org.jsoup.nodes.Document doc = Jsoup.connect(Url).get();
//On récupère dans ce document la premiere balise ayant comme nom h1 et pour attribut class="title"
 
        Elements links = doc.select("a[href]");
 if (){
 
 }       
Url = links.get(r).attr("href");
        System.out.println("\nlink Boucle  : " +r+ links.get(r).attr("href"));
TestUrl ee = new TestUrl();
boolean resultat = ee.testUrla(links.get(r).attr("href"));
 
    TestUrl ll = new TestUrl();
      if (ll.testUrla(Url) == false){
    // Url = "http://wwww.wwww.fr";
  //Url = links.get(r).attr("href");
 
      }
 
    try {
        urll = new URL (Url);
 
    } catch (MalformedURLException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
HttpURLConnection huc = null; 
    try {
        huc = ( HttpURLConnection )  urll.openConnection ();
    } catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
    try {
        huc.setRequestMethod ("GET");  //OR  huc.setRequestMethod ("HEAD"); 
    } catch (ProtocolException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
    try { 
        huc.connect () ;
 
    } catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
 
 
try {
        code = huc.getResponseCode();
System.out.println(code);
} catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
 
 
 
 
if (r < 2000){
       System.out.println("..."+r);
       //System.out.println("..."+LesUrl);
 
 
 
}    
EtapeExtraction (Url);
 
        return Url;
    }
 
    public static void main (String[] args){
    Extraction3 ext3 = new Extraction3();
    try {
        ext3.EtapeExtraction("http://referencement-annuaire-web.fr/");
    } catch (IOException ex) {
        Logger.getLogger(Extraction3.class.getName()).log(Level.SEVERE, null, ex);
    }
 
    }
}

**tchize_** · 15/07/2014, 13h54

Envoyé par kalare

d.
ce que je cherche a faire c'est une app pour parcourirs tous le web tous les sites web
pour les url des sites web

Pas compris là

Tu veux rechercher toutes les urls sur le web? Ca risque de prendre du temps et en faire un sacré paquet.

Et sinon, quel est le soucis?

**kalare** · 15/07/2014, 17h02

ce je cherche a faire

c'est une app qui fait une recherche sur un moteur de recherche comme google ou bing
le programme recupe les resutat de recherche recuper tous les liens de la page est recuper aussi les autre url
vers les autre site web

**thelvin** · 16/07/2014, 10h14

Je suis sûr que les moteurs de recherche adorent ça et vont tout faire pour t'aider -_-°.

Mais bon, sinon, troisième fois qu'on te pose la question : c'est quoi qui te pose problème ?
... Ou tu es juste en train de nous annoncer, ici, que tu es en train de faire un programme comme ça ?

**kalare** · 07/08/2014, 23h25

bonjour

ce qui ne marche pas c'est la récupération des liens dans google car selon moi ce qui pose problème c'est que dans le code source des
résultat de recherche il n'y a pas de code html avec des liens simple tel que <a href="">
mes les résultat dans le code source c'est du javascript donc de ce fait mon application n'arrive pas a récupérer les liens.

selon vous esque la solution ne serais pas de afficher avec un JEditorPane la page web des résultats de recherche de google pour pouvoir
par la suis récupéré les liens <a href="eeeeeee">test</a>

**tchize_** · 07/08/2014, 23h45

tu sais que google et bing on des apis spécifiques pour les développeurs, qui évitent de devoir chipotter leur moteur.

Et non, le editorpane ne changera rien, il ne comprends pas plus le javascript que toi.