Discussion :

[abbescr7]

Salut a tous
je suis entrain de programmer un analyseur lexical sous java, j'ai un texte que je le découpe avec la méthode Split et je mets tous le mots dans un tableau tabmot
j'ai 5 liste (mots clé , separateur operateur identificateur et constante), il cherche chaque mots du tableau dans les 5 liste si il le trouve il me donne le mot le nom de la liste et sa positon
par exemple Texte : public static void main
il me donne : public mot clé position 0
seulement je veux qu'il prend compter des majuscule si il trouve Public il doit m'afficher une erreur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
	Map<String, List<String>> listes = new HashMap<>();
	listes.put("mot clé",a1);
	listes.put("spérateurs",a2);
	listes.put("operateurs",a3);
	listes.put("constante",a7);
	listes.put("identificateur",a5);

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
public class ListePosition {
 
	     private final String nom;
	     private final int index;
	     public ListePosition(String nom, int index) {
	         this.nom=nom;
	         this.index=index;
	     }
	     public String getNomListe() {
	         return nom;
	     }
	     public int getIndexDansLaListe() {
	         return index;
	     }
	     public static Optional<ListePosition> chercher(Map<String, List<String>> map, String mot) {
	           return map.entrySet()
	                     .stream()
	                     .filter(e-> e.getValue().contains(mot))
	                     .map(e-> new ListePosition(e.getKey(), e.getValue().indexOf(mot)))
	                     .findFirst();
	     }
 
 
}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
	for(String mot : tabmot ) {
		     Optional<ListePosition> position = ListePosition.chercher(listes, mot);
		     if ( position.isPresent() ) {
			position.ifPresent(e-> System.out.printf("Mot %s  trouvé dans la liste %s en position %d%n", mot, e.getNomListe(), e.getIndexDansLaListe()+1)); 
		     }
		     else {
			System.out.println(mot+ " : mot introuvable " );
		     }}

[joel.drigo]

Salut,

Ce n'est pas très clair : tu voudrais que si on cherche le mot public et qu'on trouve le mot Public, alors on signale qu'il y a une erreur ? Ou tu veux que si on cherche public, et qu'il y a Public, ça le trouve aussi ?

[abbescr7]

Non je veux que si 'il trouve Public il m'affiche une erreur !
plus clair ma liste des mots clé elle contient (public , static, void ect )
mon text par exemple public static Public
il doit m'afficher
public mot clé position 1
static mot clé postion 2
Public mot introuvable
mon code ne prend pas en compte les majuscule et les minuscule , si il trouve Public ou bien public c'est la même chose

[joel.drigo]

Non, Collection.contains() et List.indexOf() utilisent equals() (éventuellement hashCode() en plus), qui est sensible à la casse pour String. Donc ton code doit afficher déjà ça. Sauf si tu passe tes mots en minuscule au moment de la lecture dans le fichier : il suffit d'enlever le toLowerCase().

[abbescr7]

je m'excuse Joel je me suis trempé !
le mot Public le prend comme identificateur ! meme cas pour Static Void Main

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
Pattern k = Pattern.compile("^[A-Za-z][A-Za-z0-9]*");
 
		for(int i=0; i<tabmot.length;i++){
		if (k.matcher(tabmot[i]).matches()) {
			if((a1.contains(tabmot[i]))==false 
					&& (a2.contains(tabmot[i]))==false 
					&& (a3.contains(tabmot[i]))==false 
					&& (a7.contains(tabmot[i]))==false
)			
			a5.add(tabmot[i]);
 
		}
 
		}System.out.println( "les identificateurs sont :");
		for( int i  = 0; i < a5.size(); i++)
	    {
		      System.out.println( a5.get(i));
		    }

[joel.drigo]

Ok. Forcément, s'il y a une liste qui contient le mot public et une autre qui contient le mot Public, il va trouver Public dans le seconde liste, même si public est dans la première liste.
Et là on ne peut pas faire grand chose. Parce que si le mot cherché est Public, il n'y a rien qui qualifie le mot et qui dit que même si on le trouve dans la seconde, on devrait le trouver dans la première avec une erreur.

On peut faire :

1. on cherche le mot (Public) : il le trouve dans la seconde liste
2. puis, si !mot.equals(mot.toLowerCase()) (donc le mot cherché n'est pas qu'en minuscule) on cherche le mot en minuscule (chercher(map, mot.toLowerCase()), il le trouve dans la première liste
3. S'il le trouve dans les deux listes, alors juste indiqué : on l'a trouvé avec la casse exacte dans la liste 2, mais on l'a aussi trouvé en minuscule dans la liste 1.

Mais on ne peut pas dire que c'est une erreur : c'est une erreur ici dans le contexte public static void... mais déterminer ça automatiquement est beaucoup plus complexe qu'il n'y parait. On peut simplifier par des heuristiques, genre dire si tous les mots de la ligne sont dans la liste des mots-clefs, sauf 1, alors ce dernier est une erreur... et encore, cela ne fonctionne pas à tout les cas : public class Public {} : pourquoi Public serait une erreur ?

Maintenant, il faut voir quel est le but du programme globalement. Est-ce que le but est de vérifier du code Java ?

[abbescr7]

Salut Joel
oué le but du programme et de vérifié le code java genre un compilateur comme le fait éclipse
je dois faire les 3 analyse ( lexicale syntaxique et sémantique )
pour revenir a notre problème je veux qu'avant qu'il met le mot Public dans la liste des identificateur ( ce qui est une erreur ) il doit chercher le mot dans la liste des mot clé si il le trouve en minuscule (public) il ne doit pas l'ajouter dans la liste des identificateur , apres l’implémentation de tous les listes si je veux verifié il doit m'affiché public mot clé Public mot introuvable meme cas pour String mot clé string mot introuvable

[joel.drigo]

M'enfin, ce n'est pas du tout comme ça qu'on fait un analyseur lexical de code. Tu auras beaucoup de mal à gérer le contexte, et sans contexte c'est impossible. C'est pour quelle raison ? Parce que ça existe déjà ce genre de programmes ou blibliothèques. Si c'est un projet ou un exercice demandée dans le cadre de tes études, tu devrais regarder la théorie et les techniques de l'analyse lexicale et syntaxique, et de baser ton programme sur JFLex et Cup, ou Jacc, JLex...
Pour l'analyse sémantique, appliquée à du code, je ne suis pas sûr de voir exactement ce que c'est. Mais c'est pareil, il y a différentes techniques, qu'on peut trouver sur le web.

[abbescr7]

d’après mon prof je suis sur le bon chemin j'ai juste ce petit problème ( majuscule et minuscule) et un probleme avec le Split je dois trouvé une expression régulière qui généralise tous les cas mon split été avec l'espace blanc donc il prenais pas en considération les mot coler tel String[] <= ,>= ect
dois je tous recommencé a zéro ou bien je continue ?

[joel.drigo]

Je ne peux pas savoir ce que le prof t'a demandé, et pourquoi il dit que tu es sur la bonne voie (et par rapport à quoi). Mais la question que tu as posée n'est pas soluble avec ton système de listes de mots et de traitement de casse. Tout ce que tu peux savoir c'est dans quelle liste un mot se trouve et qu'un mot ne se trouve dans aucune liste. Ensuite, si le mot est dans 2 listes avec des casses différentes, tu ne peux pas en déduire grand-chose, à part que peut-être la casse n'est pas correcte, mais pas forcément.
Un système de regexp pour traiter les problèmes de séparateurs va te donner une regexp super complexe, et rien ne garantira qu'elle traite bien tous les cas possibles.

[abbescr7]

on l’appellera un analyseur personnalisé
pour le regex j'ai essayer avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
tabmot=chaine.split("\\[| ");

seulement j'ai une perte de donnée ( si on peut l’appeler comme ça )
pour : String[ ]
il m'affiche String mot clé
] séparateur , par contre je trouve pas le "["

[joel.drigo]

par contre je trouve pas le "["

Forcément, le principe avec un split, c'est qu'on ne retrouve pas les séparateurs dans le résultat. A la limite avec Pattern/Matcher et find/group, et une regexp tu pourras le faire, mais tu trouveras toujours d'autres cas qui ne fonctionneront pas (ou pire tu ne les trouveras pas et ça plantera au premier essai qu'un utilisateur fera, et si cet utilisateur est ton prof, peu importe ce qu'il t'aura dit ou pas, il considèrera que ton programme ne fonctionne pas correctement). Les regexp c'est bien pour les répétions simples : dès que ça devient riche, un automate sera plus simple. Et pour peu qu'il y ait de récursivité en plus (comme dans du code Java) et les regexp Java, ça va être très complexe, voire impossible.

[joel.drigo]

dois je tous recommencé a zéro ou bien je continue ?

C'est quoi le sujet exactement ? C'est toi qui à choisi de parser du Java, ou on ta imposer de parser du Java ? Tu ne peux pas parser un langage plus limité (genre, des expressions arithmétiques, un logo de base, ou du forth pour un langage informatique un peu évolué).
Tu peux utiliser un parser existant ou tu dois écrire le parseur ? Tu ne peux pas utiliser jflex/cup (cf lex/yacc) ?
Ou intervient l'analyse sémantique ?

[abbescr7]

Salut Joel
j'ai parlé avec mon prof
Non on peut pas utiliser le Jflex ( c'est trop facile)
le sujet exactement c'est de réaliser un analyseur lexical "tableau des symboles" d'apres elle c'est juste une petite modification a faire ( expression reguliere)
"String[ ]" pour recuperer le "["
pour l'analyse syntaxique : pour une grammaire donnée on doit calculer tableau des premiers tableau des suivant , analyseur predectif puis on doit verifié si une chaîne donné appartient a cette grammaire
pour l'analyse sémantique peut de gens sont arrivé a ce stade
j'aimerai bien etre parmis c'est gens !

[joel.drigo]

Salut Joel
j'ai parlé avec mon prof
Non on peut pas utiliser le Jflex ( c'est trop facile)
le sujet exactement c'est de réaliser un analyseur lexical "tableau des symboles" d'apres elle c'est juste une petite modification a faire ( expression reguliere)
"String[ ]" pour recuperer le "["

M'enfin, ce n'est pas la question que tu poses à l'origine ! Tu me demandais comment signaler une erreur sur Public, alors que public est un mot clef et Public un identifiant. Et je t'ai répondu (2 fois au moins, ou 3, je ne sais plus).

Si tu poses une question et que je dois répondre à une autre, forcément je ne vais pas répondre à la question !

pour l'analyse syntaxique : pour une grammaire donnée on doit calculer tableau des premiers tableau des suivant , analyseur predectif puis on doit verifié si une chaîne donné appartient a cette grammaire

Je n'ai rien compris, mais ce n'est pas bien grave.

pour l'analyse sémantique peut de gens sont arrivé a ce stade
j'aimerai bien etre parmis c'est gens !

Bon courage !

[abbescr7]

Ta raison peut être que je me suis mal exprimé
le mot Public c'est moi qui l'es mit comme identificateur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
Pattern k = Pattern.compile("^[A-Za-z][A-Za-z0-9]*");
 
		for(int i=0; i<tabmot.length;i++){
		if (k.matcher(tabmot[i]).matches()) {
			if((a1.contains(tabmot[i]))==false 
					&& (a2.contains(tabmot[i]))==false 
					&& (a3.contains(tabmot[i]))==false 
					&& (a7.contains(tabmot[i]))==false
 
)			
			a5.add(tabmot[i]);

en même temps le mot public est dans la liste des mots clef
je veux qu'avant qu'il soit ( Public) implémenter dans la liste des identificateur il verifé si c'est un mot clé en Majuscule
apres que mon programme linéaire soit généré le mot Public sera une erreur
Stp dit moi que tu m'a compris ?

[joel.drigo]

Non, je n'ai pas tout compris. Mais en te relisant :

pour revenir a notre problème je veux qu'avant qu'il met le mot Public dans la liste des identificateur ( ce qui est une erreur ) il doit chercher le mot dans la liste des mot clé si il le trouve en minuscule (public) il ne doit pas l'ajouter dans la liste des identificateur , apres l’implémentation de tous les listes si je veux verifié il doit m'affiché public mot clé Public mot introuvable meme cas pour String mot clé string mot introuvable

je comprends mieux. Enfin, je crois. Il me semble que tu ne prends pas le problème exactement comme il faut. En tout cas, je ne le ferais pas comme ça.

Je ne chercherais pas les mots dans 4 listes pour commencer. J'utiliserais une seule liste de mot-clefs. Passons le parsing pur (la tokenization) : considérons qu'on a le texte d'origine découpées en unités simples (en mot). Je chercherais si le mot appartient à la liste de mot clef : si le mot appartient à la liste de mot-clef, je le marque comme mot-clef potentiel (rien ne permet de dire à ce moment que c'est effectivement un mot clef : il est peut-être totalement mal placée vis-à-vis de la grammaire, mais il est vrai qu'on n'en est pas encore à ce stade.
Si le mot n'appartient pas à la liste de mot-clef, je tenterais de le qualifier par des heuristiques, mais cela serait très très limité : je séparerais juste les constantes dites litérales (les nombres (ou formes numériques plus généralement), d'un côté, les opérateurs, d'un autre côté, les formes structurelles d'autre part (les accolades par exemple, le point-virgule, etc.), à part, et enfin, le reste (que je ne sais pas encore vraiment qualifier, même s'il y a de fortes chances que cela soit des identificateurs. Je les marquerais seulement, mais on peut les mettre dans des listes pour plu tard, mais en tout cas pas pour tester si un mot de la première classe s'y trouve. Je pense même qu'il faut absolument conserver la redondance et surtout ne pas faire de déboulonnage à ce niveau (on ne peut le faire que par la grammaire).

Pour le parsing, personnellement, je n'utilise jamais les expressions régulières pour autre chose que des formes à motifs répétitifs non auto-récursives. Enfin j'entends par là, telles qu'un token ne puissent pas contenir un token de même forme, comme par exemple une expression arithmétique x* (2+x) / ( 1/(x+(1/x)) ). J'utilise un automate à état pour ça. C'est bien plus simple. Quand au résultat d'un tel parsing, il me semble indispensable de produire un arbre, et non une liste.