Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
contenu en anglais ou pas ?
bonjour
j'aimerais savoir s'il y a une possibilité avec des expressions regulières de tester si un contenu est en francais ou pas .En gros j'aimerais un filtre qui permet de garder que des contenus en francais .ceux des autres langues seront supprimés.
merci
J'aime pas être trop catégorique mais je vais dire...non pas possible
Il faut que tu revois le principe des REGEX je pense.
Ba non c'est pas possible étant donné que l'alphabet français et anglais sont les même....
Tu peux toujours essayer d'inspecter l'attribut lang de la balise html, si l'attribut existe...
Pour ma part je pense que c’est possible et même pas très difficle à faire, à condition de bien délimiter ce qu’on aspire à faire.
S’il s’agit de distinguer si un texte est en anglais ou en français , en sachant préalablement qu'il est intégralement dans une seule langue, je dirais que c’est facile et fiable.
S’il s’agit de distinguer dans un texte différentes portions qui sont chacune dans une seule langue, c’est encore relativement facile et fiable.
Les résultats seront d’autant meilleurs que les textes intégraux ou les portions seront plus longues.
Mais s’il y a une trop grand intrication de morceaux en anglais et d’autres en français , ça risque d’être beaucoup plus foireux.
Mon idée c’est:
- spliter un texte en mots
- vérifier en se connectant à un site offrant en ligne un dico d’une langue donnée si la plupart des mots splités s’y retrouvent
Ou alors, se fonder sur des mots ou morceaux de mots récurrents ou caractéristiques d’une langue comme le, la ,les, ai, dit, je, il, ent, m’, eau, etc pour le français par exemple.
Faux !
Un site français peut très bien faire référence à des textes écrits en anglais... tout comme un site anglais peut très bien contenir quelques textes en français... ton algo ne fonctionnerait plus...
Dire que c'est facile et fiable, bof bof.
Au pire tester si le texte contient des mots tels que "the this" ou "le la" mais bon fiabilité c'est pas super...
Je n’ai pas parlé d’un site indéfini mais d’un dico en ligne.
Par exemple:
http://www.cnrtl.fr/lexicographie/
Il suffit d’envoyer une requête de mot à cette adresse et d’analyser la réponse. Si celle-ci comporte l’expression ’Cette forme est introuvable !’ , le mot n’existe pas dans ce dictionnaire. Sinon le mot est français.
Si un texte est intégralement en français, une proportion très élevée des requêtes va recevoir des réponses postives. Et on pourra conclure que le texte est en français.
Après, bien sûr, c’est une autre paire de manches de faire un code qui va interroger un dico en ligne. Perso, pour le moment, je ne sais pas faire.
Mais dans le principe, j’estime que ce genre de programme n’est pas d’une grande complexité.
Pour quelqu’un qui sait comment faire des requêtes à un tel site, il suffirait d’une demie-heure pour écrire un premier code potable.
L’idée d’analyser l’attribut lang s’il existe est une bonne idée. Mais il faut que le texte soit une page html.
J’ai pensé de façon plus large au cas de textes qui n’en sont pas.
l'idée d'eyquem me parait assez intéressante .
on peut extraire aléatoirement quelques mots dans le contenu et on vérifie sur le site en ligne .
Maintenant va falloir penser à coder çà en php par exemple
Salut,
j'apporte mon grain de sel car il m'est venu une idee qui me semble va alleger les requetes (si vous partez sur l'idee d'eyquem qui pourrait etre une solution)
en effet si les developpeurs l'on permis, il sera possible d'interroger leur site et recupere la reponse.
mais avant ca, tu pourras deja faire un gros tris : tu test la presence de caracteres speciaux : éèàôï etc... (ou tester des mots cles propre au francais... s' m' j' qu' etc..mais bien verifier qu'ils n'existent pas dans d'autres langues) qui (sauf erreur de ma part) sont propre a la langue francaise.
=> si presence d'un (ou plus) des caractes, hop... c'est francais on n'en parle plus.
=> sinon, webservice ?
Bonsoir,
clairement, cela ne se limite pas à comparer des mots, par exemple si je vous pose la question suivante, que répondez-vous ?
De quel langue est le mot "car" ?
Je pense que la solution est plus une traduction par paquet de mots, puis une vérification des proportions de chaque langue pour les paquets trouvés. Ensuite, pour vérifier qu'un site est dans une langue, il ne suffit pas non plus de vérifier une page, il faut faire ce calcul sur un ensemble de page.
On pourrait par exemple dire qu'un site est français si au moins 80% des pages du site possèdent au moins 50% de contenu français. Le tout est de trouver le ratio le plus pertinent.
Si tu ne souhaites pas mettre en place cet algo, il existe une solution gratos qui te permet d'identifier la langue, faire une requête en POST sur le formulaire d'action http://www.xrce.xerox.com/cgi-bin/mltt/LanguageGuesser :
À bientôt,
Vous avez un bloqueur de publicités installé.
Le Club Developpez.com n'affiche que des publicités IT, discrètes et non intrusives.
Afin que nous puissions continuer à vous fournir gratuitement du contenu de qualité, merci de nous soutenir en désactivant votre bloqueur de publicités sur Developpez.com.
Répondre avec citation
Partager