Discussion :

[yimson]

Bonjour Chers Hadoopiens,

Je reviens sur la plateforme avec un souci qui me tracasse depuis un moment.
Je souhaite faire une commande LS sous Hadoop afin d'en exploiter le résultat de façon optimale.

Mon problème est le suivant:

Je souhaite exploiter le résultat de mon LS tel que présenté ci-dessous. Le résultat ci-dessous
est obtenu sur un OS compatible POSIX.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
biadmin@bivm:~> ls -1 file[1-6]*
file1.txt
file2.txt
file5.txt
file6.txt
biadmin@bivm:~>

Par contre sur mon système Hadoop (HDFS n'étant pas compatible POSIX), je ne peux utiliser
l'option -1 comme précédemment. J'ai donc la commande suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
biadmin@bivm:~/POC_BIGDATA_SCRIPT-In-Dev> hadoop fs -ls /biginsights/hive/warehouse/profil
Found 2 items
-rw-r--r--   1 biadmin biadmin     171495 2015-01-22 16:34 /biginsights/hive/warehouse/profil/part-r-00000-profil-ext-1421940833734
-rw-r--r--   1 biadmin biadmin    9137051 2015-01-22 16:33 /biginsights/hive/warehouse/profil/part-r-00000-profil-int-22012015163425
biadmin@bivm:~/POC_BIGDATA_SCRIPT-In-Dev>

Ainsi, lorsque je charge le resultat de cette commande dans une variable telle que presenté dans le code suivant,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
biadmin@bivm:~> list_elt=`hadoop fs -ls /biginsights/hive/warehouse/profil`
biadmin@bivm:~> echo $list_elt
Found 2 items -rw-r--r-- 1 biadmin biadmin 171495 2015-01-22 16:34 /biginsights/hive/warehouse/profil/part-r-00000-profil-ext-1421940833734 -rw-r--r-- 1 biadmin biadmin 9137051 2015-01-22 16:33 /biginsights/hive/warehouse/profil/part-r-00000-profil-int-22012015163425
biadmin@bivm:~>

En parcourant la variable $list_elt, je n'ai besoin que d'utiliser les valeurs suivantes : part-r-00000-profil-ext-1421940833734 et part-r-00000-profil-int-22012015163425

La question

Y aurait-il un moyen d'obtenir le résultat de la commande LS -1 sur Hadoop comme sur un OS compatible POSIX ?
La version de Hadoop que j'utilise est : Hadoop_1.1.1.
Mon OS est : SUSE Linux Enterprise Server 11 (x86_64), VERSION = 11, PATCHLEVEL = 2

Merci par avance pour vos retours.

[yimson]

Bonjour à tous,

Après de multiples recherches et des échanges sur le HUG France que je partage ici (fichier en pièce jointe), le problème que j'avais a été fixé.
Faites bon usage de cette expérience qui continue de progresser dans le monde Hadoop

Cordialement.
Gaël