Bonjour à toutes et à tous,
Dans le cadre de la réalisation d'un moteur de recherche interne à un site, je souhaite scanner et récupérer tout le contenu HTML de toutes les pages de mon site.
Les fonctions pour récupérer, traiter et stocker le contenu d'une page en spécifiant son URL, c'est OK. Cependant, j'ai un peu de mal à récupérer la liste complète de toutes les pages interne d'un site afin d'en scanner l'intégralité.
J'ai vu quelques sites offrants cette possibilité en y spécifiant l'adresse principale du site ( www.monsite.fr ), mais je souhaite réaliser ma propre fonction.
Un peu comme Xenu, mais qui me listerai uniquement la liste des pages internes de mon site.
Merci d'avance pour votre aide.
Cordialement.
Partager