Discussion :

[vacknov]

Bonjour,

Je souhaite effectuer la collecte des logs d'un cluster mongoDB et les centraliser dans un cluster HDFS, pour cela j'ai choisi Flume.

Es ce que j'ai besoin d'installer hadoop et flume sur tous mes noeuds du cluster mongoDB ?

Ou bien c'est possible d'installer un agent flume sur chacun de mes 13 noeuds mongoDB et envoyer le tout vers HDFS.

Je ne compte pas transformer tous mes noeuds mongoDB en noeuds hdfs.

Pourriez-vous m'aider svp ?

Merci d'avance.

[vacknov]

Je viens de trouver la reponse.

Il faut installer hadoop sur chacun de noeud et utiliser le client hdfs afin de transférer les données dans cluster hadoop.

télécharger hadoop, décompresser et utiliser le system de fichiers hdfs distant sans aucune configuration préalable.