Discussion :

[Coxtox]

Bonjour,
Etant débutant en Scala, j'essaie d'importer mon tableau de données (pour calibrer des algos de machine learning par la suite) sauf que celui-ci possèdent 27 colonnes. Lorsque je lance ce code j'ai le massage d'erreur suivant qui m'indique qu'un tuple ne peut avoir plus de 22 éléments.
Je précise que je travaille avec la version 2.11.8 de scala et 2.1.0 de Spark.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
    var table = sc.textFile("table.csv")
        .map(line=>line.split(";") match {
      case Array(ID, var1, var2, ...., var27) =>
        (ID.toString, var1.toString, ..... , var27.toString)
    }
    )

Voici l'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Error:(64, 9) too many elements for tuple: 27, allowed: 22
        (ID.toString, var1.toString , var2.toString, ..., var27.toString,

Quelqu'un pourrait m'indiquer si il existe une alternative ou un package recommandé pour importer des données dans l'optique de modéliser une variable cible ?

Cordialement

[Shepard]

Bonjour,

Il existe pas mal de packages pour faire de l'analyse de données.

Je ne m'y connais pas particulièrement mais je pense que databricks, qui se base sur Spark, est une référencs dans le domaine (si tout va bien, dans quelques semaines, j'aurai la chance d'être rémunéré pour travailler avec :-) Je pourrai alors sans doute t'en dire plus)

Bonne journée !