Casse-tête de 10000 pages html

**Sekkate** · 19/04/2006, 16h21

Bonjour tout le monde

j'ai un site qui fait une dizaine de milliers de pages statics et je cherche à savoir s'il y a moyen d'automatiser la récupération du contenu et de le stocker dans une BD.

toute la difficulté réside dans le fait que ça soit un site de 15000 pages html et aussi dans le fait que le style est aléatoire ...Bref un vrai bordel

j'ai pensé à un algorithme qui récupèrera ce qu'il y a entre les <body> or j'ai vu que dans pas mal de pages des fois il n'y pas de <body>
en suite j'ai pensé à curl mais je ne l'ai pas encore tester.

l'idée finale est de passer à un site qui sera de la forme: index.php?id=$page_id où chaque page possède un id et à chaque page on associe du contenu, truc bien fait quoi!!

théoriquement c'est simple, après chaque page parcourue nous allons créer un nouveau page_id dans la table "Page", nous récupererons le contenu et on le stockera ds la table "Content" en y indiquant l'Id de la page.

please réfléchisons tous ensemble

**funckfot** · 19/04/2006, 17h08

tu doit juste recuperer se qu'il y a dans tes pages?
dans ce cas fait une page qui lit tout tes fichiers et leur contenu et tu l'insere dans ta base non?

**Sekkate** · 19/04/2006, 17h26

c'est facile à dire comme ça mais il fait enlever les styles et le code dont on a pas besoin. l'idée est de récuperer uniquement le texte

**Yobs** · 19/04/2006, 17h35

Tu peux essayer tes fichiers html avec tidy_clean_repair() pour t'assurer de la syntaxe correcte de tes pages. Ensuite avec tidy_get_body() tu pourra récupérer tout ce qui se trouve entre les balise <body></body>.

De manière générale, la bibliothèque tidy te permettra d'agir sur tes fichiers html, tu trouvera de l'aide ici: http://fr2.php.net/manual/fr/ref.tidy.php

**djibril** · 19/04/2006, 23h19

En perl, tu as un module HTML:

arser qui permet de parser les pages html et tu pourras recuperer proprement le contenu des balises. Fais un tour dans le Forum Perl.

**bmay** · 14/08/2006, 12h26

Envoyé par Sekkate

Bonjour tout le monde

l'idée finale est de passer à un site qui sera de la forme: index.php?id=$page_id où chaque page possède un id et à chaque page on associe du contenu, truc bien fait quoi!!

théoriquement c'est simple, après chaque page parcourue nous allons créer un nouveau page_id dans la table "Page", nous récupererons le contenu et on le stockera ds la table "Content" en y indiquant l'Id de la page.

please réfléchisons tous ensemble

Oui, théoriquement c'est le cas mais je suppose que tes pages se référencent entre elles (histoire de faire un truc comme "naviguer" sur le site). Et il faudra réécrire les liens entre elles selon le nouveau format correspondant à ta base de donnée, non ?
Et là

j'ai pas de solution simple ... Recoder les URL peut-être mais je ne connais rien de facile pour le faire

.