Discussion :

[Pelote2012]

Salut à tous

J'ai un fichier articles xml, 387M0 pour 3 millions de ligne
La plupat de ces ligne me sont inutiles.

J'ai ce petit bout de code qui marche, mais qui met plus 5H à se finir
ListeBDD : liste de string contenant la liste des constructeurs inutiles

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 For Each e As XElement In From ArtXml In LeFichierArticle.LeFichierXml.Element("files.index").Descendants("file").Reverse
                If ListeBDD.Contains(e.Attribute("Supplier_id").Value) Then
                    e.Remove()
                End If
            Next

J'ai vu qu'on pouvait faire ça en une ligne en Linq, mais je ne suis pas parvenu

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Dim ddd2 = From ArtXml In LeFichierArticle.LeFichierXml.Element("files.index").Descendants("file") Select ArtXml.Attribute("Supplier_id").Value

ça me retourne bien la liste des éléments à supprimer
mais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
(From ArtXml In LeFichierArticle.LeFichierXml.Element("files.index").Descendants("file") Where ListeBDD.Contains(ArtXml.Attribute("Supplier_id").Value) Select ArtXml).remove()

Me sort une erreur de syntaxe sur la 1ere parenthèse

Quelqu'un peut-il m'éclairer sur la suppression conditionnelle d'éléments dans un fichier Xml par Linq?

[tomlev]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
(From ArtXml In LeFichierArticle.LeFichierXml.Element("files.index").Descendants("file") Where ListeBDD.Contains(ArtXml.Attribute("Supplier_id").Value) Select ArtXml).remove()

La méthode Remove doit être appelée sur un élément, et toi tu l'appelles sur une séquence d'éléments... Il faut faire un foreach sur le résultat de la requête.

Mais de toutes façons, ça n'ira pas plus vite comme ça qu'avec ton code d'origine...

Je vois 2 points d'amélioration possibles :

- N'utilise pas Descendants, qui est lent car il cherche parmi tous les descendants. Utilise plutôt Elements, qui ne cherche que les enfants directs (selon la structure de ton document XML, il faudra peut-être modifier un peu la requête)

- Si ListeBDD contient beaucoup d'éléments, utilise un HashSet<string> plutôt qu'une List<string>

[Pelote2012]

Je te remercie pour ces petites précisions. Au moins je comprend mieux

J'ai résolu le problème en le contournant

Mon projet est en SSIS et je pensait que mon pb ne se résoudrait que par le code...
Naif que je suis
Mon collègue m'a parlé de son jeune temps ou il faisait du XSLT
Ce que gère très bien le SSIS avec l'éditeur de tâche XML
Je commence par supprimer tous les champs inutiles.
Mon fichier est réduit de plus de moitié en taille.
Puis, j'utilise un batch 2 fois par semaine pour parcourir le fichier et mettre en BDD les modifs