Discussion :

[Mickael Baron]

Bonjour,

Je vous propose un deuxième article sur Hadoop qui s'intéresse l'installation et à la configuration d'un cluster simple noeud avec Cloudera CDH 5.

L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/

Profitez de cette discussion pour laisser vos commentaires.

Merci d'avance et bonne lecture.

Mickael

[yimson]

Merci Mickaël, j'attendais l'article avec impatience !!!!

[abdobim]

j'ai essayé d'appliquer la deuxième partie "Installation et configuration d'un cluster simple nœud avec Cloudera CDH 5", tout marche bien jusqu'au l'installation du paquet lié à la gestion des métadonnées ( hadoop-hdfs-namenode), quand j'essaye d'installer ce dernier, le terminal m'affiche l'erreur lié à "unmet dependencies", ça fait 3 jours que je cherche sur le net pour regler ce problème mais rien de nouveau, SVP veuillez me donner un coup de main.
Merci

[Mickael Baron]

Salut,

Cette erreur ne me dit rien, désolé. Le mieux serait de poster un message sur le forum de Cloudera.

Mickael

[abdobim]

Ok Merci

[Mickael Baron]

Sinon, tu peux essayer via Cloudera Manager qui automatise toute l'installation.

Mickael

[abdobim]

J'ai trouvé une solution Merci

[ait29]

Bonjour,

Je vous propose un deuxième article sur Hadoop qui s'intéresse l'installation et à la configuration d'un cluster simple noeud avec Cloudera CDH 5.

L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/

Profitez de cette discussion pour laisser vos commentaires.

Merci d'avance et bonne lecture.

Mickael

Bonjour,
Je voudrais installer cloudera sur mon pc qui a 4 G0 de RAM ce qui n'est pas suffisant. J'envisage donc d'acheter un nouveau PC. Qu'est ce que vous me conseillez ? ( RAM, processeur, etc. )
Merci pour vote aide.
AHMED;

[bobisolo]

Salut Mickael et merci pour ce tutoriel assez détaillé pour un débutant.

J'ai suivi l’installation de la première partie en ce qui concerne cloudera, et tout allait bien jusqu'au démarrage des différents services liés. En fait j'ai 3 services sur 4 qui se lancent. correctement : Le namenode, le datanode, le nodemanager.

Par contre, le resourcemanager n'y arrive pas, et cela fait plusieurs jours que je suis la dessus. Je ne sais pas si tu as déjà croisé ce genre de problèmes pour m'aider. ça m'arrangerait beaucoup.

D'après ce que j'ai pu comprendre des logs, hadoop cherche les configs dans /etc/hadoop/conf.empty/*.xml alors que les miens se trouvent dans /etc/hadoop/conf/*.xml


Voici une partie du log

2015-06-21 19:49:28,744 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: registered UNIX signal handlers for [TERM, HUP, INT]
2015-06-21 19:49:29,030 INFO org.apache.hadoop.conf.Configuration: found resource core-site.xml at file:/etc/hadoop/conf.empty/core-site.xml
2015-06-21 19:49:29,184 INFO org.apache.hadoop.security.Groups: clearing userToGroupsMap cache
2015-06-21 19:49:29,341 INFO org.apache.hadoop.conf.Configuration: found resource yarn-site.xml at file:/etc/hadoop/conf.empty/yarn-site.xml
2015-06-21 19:49:30,119 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.RMFatalEventType for class org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMFatalEventDispatcher
2015-06-21 19:49:30,188 INFO org.apache.hadoop.yarn.server.resourcemanager.security.NMTokenSecretManagerInRM: NMTokenKeyRollingInterval: 86400000ms and NMTokenKeyActivationDelay: 900000ms
2015-06-21 19:49:30,195 INFO org.apache.hadoop.yarn.server.resourcemanager.security.RMContainerTokenSecretManager: ContainerTokenKeyRollingInterval: 86400000ms and ContainerTokenKeyActivationDelay: 900000ms
2015-06-21 19:49:30,205 INFO org.apache.hadoop.yarn.server.resourcemanager.security.AMRMTokenSecretManager: AMRMTokenKeyRollingInterval: 86400000ms and AMRMTokenKeyActivationDelay: 900000 ms
2015-06-21 19:49:30,254 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStoreEventType for class org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore$ForwardingEventHandler
2015-06-21 19:49:30,262 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.NodesListManagerEventType for class org.apache.hadoop.yarn.server.resourcemanager.NodesListManager
2015-06-21 19:49:30,262 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Using Scheduler: org.apache.hadoop.yarn.s



Merci d'avance.

NB : J'espère que c'est le bon topic.

[Mickael Baron]

Salut,

Quand j'ai rencontré des soucis c'était souvent car mon cluster était trop petit. J'ai constaté des comportements très étrange quand j'avais configuré pour un seul noeud.

De ton côté quel est la topologie de ton cluster ?

Mickael

[bobisolo]

Salut,

Quand j'ai rencontré des soucis c'était souvent car mon cluster était trop petit. J'ai constaté des comportements très étrange quand j'avais configuré pour un seul noeud.

De ton côté quel est la topologie de ton cluster ?

Mickael

Pour moi c'est aussi un seul noeud. Je n'utilise que mon ordi seulement pour l'instant. Je suis entrain de suivre le tutoriel pas à pas.
Les comportements étranges que tu avais, c'etait dans le même type d'erreur?
Et si je veux configurer pour plus d'un noeud dans le cluster, tu as un lien que tu pourrais me recommander?

Merci

[bobisolo]

Pour moi c'est aussi un seul noeud. Je n'utilise que mon ordi seulement pour l'instant. Je suis entrain de suivre le tutoriel pas à pas.
Les comportements étranges que tu avais, c'etait dans le même type d'erreur?
Et si je veux configurer pour plus d'un noeud dans le cluster, tu as un lien que tu pourrais me recommander?

Merci

Desolé, j'avais pas vu la troisième partie de ce cours. Je vais réessayer cela pour voir.
J'espère avoir plus de chance cette fois.

Encore merci

[Odemwilu]

Odemwilu

Merci pour ce lien. Comment faire alors pour installer hadoop ssur windows?

[Mickael Baron]

Merci pour ce lien. Comment faire alors pour installer hadoop ssur windows?

Les dernières versions d'Hadoop facilite l'installation sous Windows.

Bonne chance et n'hésites pas à écrire des tutoriels pour expliquer comment tu as fait.

Mickael

[Odemwilu]

Bonjour,

J'ai bien commencé i'installation : voici ce que j'ai pu faire correctement :
- L'installation de Ubuntu avec VirtualBox
- Installation de JDK
- Création de hduser en créant d'abord son groupe.

Mais pour configurer SSH, on met dit :"permission denied". C'est à dire, je n'arrive pas à créer le répertoire où sauver la clé.

[Mmeouerghemmi]

Bonjour,
D'abord , merci pour l’intérêt que vous allez accordé à ma question.
Je suis entrain de travailler avec Talend open studio for big data 6.3.0 avec la distribution Cloudera CDH5.8.0 d'hadoop.
Je suis entrain de suivre un tutoriel , et je suis arrivé au chargement des données dans HDFS mais je n'ai pas trouvé les 2 champs Local directory et HDFS directory pour les remplir comme mentionné dans la figure 1, ce que j'ai c'est la fenêtre de la figure 2.
Je pense que celui là depend de la version de cloudera que j'utilise la 5.8.0 contrairement à celle utilisé dans le tuto 5.5.
Alors je tiens par ce présent message à demander comment je peux charger mes donner pour exécuter mon premier job.

Merci beaucoup

[Mickael Baron]

Bonjour,

Comme vous l'avez précisé, cela dépend de la version que vous utilisez.

Vous pourriez le faire directement depuis la ligne de commande pour résoudre le problème d'IHM

Mickael

[Mmeouerghemmi]

Merci Mickael,
Super gentil
s'il vous plaie, vous pouvez me donner plus de détails ?
c'est quoi la commande à exécuter et comment faire passer le chemin d’accès et ou je devrai placer mon fichier à charger ?

Merci beacoup.

[Mickael Baron]

s'il vous plaie, vous pouvez me donner plus de détails ?
c'est quoi la commande à exécuter et comment faire passer le chemin d’accès et ou je devrai placer mon fichier à charger ?

Oula, ça remonte. regarde ici : http://mbaron.developpez.com/tutorie...a-cdh5/#LIII-B

Mickael