Discussion :

[r-zo]

Bonjour,

dans le cadre de l'utilisation d'un wiki, on me demande de calculer pour chaque page sur une période donnée, un pourcentage de modification du contenu de cette page.

Le problème est très simple si on se base sur le "poids" de la page en nombre de lettres ou en terme de mots mais cette solution ne me convient pas car n'a pas de grande valeur :
- si j'ajoute 2 phrases à une page qui contenait 3/4 mots, le pourcentage de modification va être extrêmement élevé pour rien.
- si je remplace une ou 2 phrases dans un texte mais que cela change tout le sens du document, le pourcentage de modification du documentation sera quasi-nul alors que le document aura été modifié en profondeur.

donc la question est la suivante : y aurait-il une méthode pour calculer un pourcentage de modification ou un indice ou peut importe le nom qu'on lui donne qui aurait un sens et qui permettrait aux personnes qui vont administrer ce wiki de se dire "là il y a une modification profonde" ou "là, on a rajouté 3 paragraphes mais le document était quasi vide auparavant".

Par avance merci pour vos remarques ou encore mieux, vos solutions

[Zavonen]

si je remplace une ou 2 phrases dans un texte mais que cela change tout le sens du document

Ceci suppose un accès à la sémantique des textes, donc une lecture intelligente. On en est encore loin. La plupart des traducteurs automatiques reposent encore presque uniquement sur des règles syntaxiques, c'est pourquoi les traductions sont si mauvaises.
On sait faire une lecture intelligente dans un domaine très restreint d'expertise. Bref, un robot logiciel peut 'comprendre' un article technique dans un domaine technologique restreint et très pointu, mais ne peut pas conduire une conversation "à bâtons rompus" avec un quidam.

[Graffito]

On pourrait simplement extraire la liste des mots utilisés dans chacune des 2 versions et comparer le nombre de mots de l'intersection des 2 listes avec le nombre de mots de la réunion.

[MattChess]

y aurait-il une méthode pour calculer un pourcentage de modification

r-zo, en PHP il existe la fonction similar_text() qui évalue le pourcentage de similarité entre deux textes ci-dessous appliqué au filtre de Tweets quasiment similaires à plus de 75%.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
<?php // no direct access
defined('_JEXEC') or die('Restricted access');
define("PERCENT_COMMON_WORDS", 75.0);
define("CAUSE_NEW_TWEET", 0);
define("CAUSE_RETWEET_PERCENT", 2);
function CheckReTweet($strMsg, $strUrlTweet, &$arrTweet, &$arrText)
{   // True if at least PERCENT_COMMON_WORDS of similarity between tweets
    if (is_array($arrText))
    {
        $strMsgNew = Tokenization($strMsg);
        foreach ($arrText as $strUrlOld => $strMsgOld)
        {
            $strMsgCmp = Tokenization($strMsgOld);
            $nbrMatchChar = similar_text($strMsgNew, $strMsgCmp, $percent);
            if ($percent >= PERCENT_COMMON_WORDS)
            {        
                unset($arrTweet[$strUrlOld]); // Remove the Re-Tweet key / value
                unset($arrText[$strUrlOld]);
                return CAUSE_RETWEET_PERCENT;
            }
        }
    }
    return CAUSE_NEW_TWEET;    
} // end CheckReTweet
 
function Tokenization($strTxt)
{   // Remove punctuation and duplicated blanks, trim string, force lower case
 
    $strTok = $strTxt;
    $strTok = str_replace("à", "a", $strTok);
    $strTok = str_replace("â", "a", $strTok);
    $strTok = str_replace("é", "e", $strTok);
    $strTok = str_replace("è", "e", $strTok);
    $strTok = str_replace("ê", "e", $strTok);
    $strTok = str_replace("î", "i", $strTok);
    $strTok = str_replace("ô", "o", $strTok);
    $strTok = str_replace("ù", "u", $strTok);
    $strTok = str_replace(".", " ", $strTok);
    $strTok = str_replace(",", " ", $strTok);
    $strTok = str_replace(";", " ", $strTok);
    $strTok = str_replace(":", " ", $strTok);
    $strTok = str_replace("!", " ", $strTok);
    $strTok = str_replace("?", " ", $strTok);
    $strTok = str_replace('"', " ", $strTok);
    $strTok = preg_replace("/\s+/", " ", $strTok);
    $strTok = trim($strTok);
    $strTok = strtolower($strTok); // strtolower corrupts accents. So convert them before!
    return $strTok;
 
} // end Tokenization

Voir également la similarité par comparaison de mots, l'algorithme de SimHash.
___________

Si la discussion est résolue, vous pouvez cliquer sur le bouton

En bas de ce message s'il vous a apporté des éléments de réponse pertinents, pensez également à voter en cliquant sur le bouton vert ci-dessous.

[Nebulix]

Bill dit : Steve est un âne.
Bill, dit Steve, est un âne.
% ?

[souviron34]

et de plus

Bill, dit Steve, est un âne.

peut vouloir dire "Bill, appelé Steve, est un âne"

[Franck Dernoncourt]

Au sens figuré ou au sens propre ?

[Nebulix]

... peut vouloir dire "Bill, appelé Steve, est un âne"

Il y a très longtemps, un logiciel de traduction avait traduit :
Le pilote ferme la porte
par quelque chose comme :
Le pilote décidé la soulève

[j.p.mignot]

J'aborderai le problème un peut comme la DTW (Dynamic Time Wraping) en reconnaissance de la parole qui est utilisé pour mesurer la 'distance' (plutôt indexe de ressemblance) entre un échantillon et une référence.
voir par exemple
http://tcts.fpms.ac.be/cours/1005-07...oux/index.html
http://www.ece.auckland.ac.nz/~wabd0...NCON_final.pdf

Ici les pentes min max issues du point de départ tout comme les 2 droites allant au point final définissent le décalage max de mot toléré. La fonction de corrélation pourrait peut-être être même limitée à [0,1] suivant si le même mot est trouvé ou non.