Discussion :

[Lamyaa34]

Bonjour a tous!
Avant de vous expliquer mon problème, je dois quand même précisé que je n'ai pas de profil mathématique mais plus statistique, économétrie...
J'ai lu dans un article que l'auteur avait appliqué l'algorithme de Savitzky golay. En faisant quelques recherches sur internet, j'ai cru comprendre qu'il s'agissait d'un filtre permettant de lisser une série.

Mais en réalité je ne comprends pas très bien l'utilité de ce algorithme. Je me place dans l'étude d'une série temporelle: Représentation graphique, étude de la saisonnalité, etude de la stationnarité, tests de non linéarité etc...

Supposons que cet algorithme soit utile dans l'étude de ma série, intutivement, je l'appliquerais avant l'étude de la stationnarité. Mais dans ce cas, le lissage de ma série ne détruit pas d'autres structures qui existerait et que je pourrais prendre en compte dans ma modélisation finale?

En vous remerciant,

[Nebulix]

je ne comprends pas très bien l'utilité de cet algorithme

Comme tout algorithme de lissage, il permet de transformer du bruit en erreur systématique.
Oublie le !

[gbdivers]

Bonjour

La question est l'utilité des lissages en général ou de Savitsky-Golay en particulier ? Je vais tenter un début de réponse en tant qu'utilisateur et non en expert

Sur la question du lissage, le but est de supprimer le bruit (c'est à dire la composante aléatoire du signal) en conservant l'information. C'est à dire d'augmenter le signal sur bruit. On peut écrire un signal de la façon suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

S(t) = LB(t) + K.I(t) + N(t)

avec S(t) le signal, LB(t) la ligne de base, K une constante, I(t) l'information et N(t) le bruit. Seul I(t) nous intéresse, le reste peut perturber l'analyse. Donc soit on utilise des méthodes qui ne vont pas être sensibles à ces composantes, soit on les supprime avant l'analyse.

Plusieurs questions se présentent : Est-ce que mes tests sont sensibles à ces composantes ? Quel(s) traitement(s) appliquer en conséquence ? Quel(s) algorithme(s) utiliser pour supprimer uniquement les composantes indésirables sans perdre l'information ? Comment paramétrer ces algorithmes correctement ces algorithmes pour supprimer suffisamment de bruits sans enlever trop d'informations ?

En ce qui concerne Savitsky-Golay, c'est juste un algorithme de lissage qui est théoriquemement plus conservateur que les algorithmes antérieurs.

Donc la réponse dépend de ce que tu veux faire et de tes données. Le plus simple est probablement de commencer sans débruitage puis en fonction de ces premiers résultats, de choisir un pré-traitement des données bruts.

[Lamyaa34]

Merci pour cette réponse détaillée!

Je travaille sur des données financières donc fortement bruitées. Mais quand vous dites que cet algorithme est conservateur, vous voulez dire qu'il a tendance à mieux débruiter? je voulais aussi savoir si cet algorithme est adaptable à tous types de séries c'est-à-dire avec des caractéristiques particulières(série avec de la mémoire longue, série avec de l'hétéroscédasticité, série chaotique..)

merci!!!

[gbdivers]

Pas forcement "mieux" débruiter. Cela dépend du paramétrage de l'algorithme. Si tu donnes des valeurs trop importantes, tu vas fortement débruiter mais tu va perdre de l'information.

Pour prendre un exemple plus concret. J'utilise le débruitage avant des techniques de détection de pics (*). Sans débruitage, je détecte des pics artéfactuels provenant des fluctuations aléatoires du bruits. Avec un débruitage de type gaussien, le bruit sera supprimé mais je vais perdre des pics détectés (en particulier des pics de faibles intensités ou des pics proches). Avec SG, la perte de signal est moindre. Donc pour résumer, sans débruitage, j'ai beaucoup de pics détectés mais beaucoup de faux positifs, avec gauss il manque beaucoup de pics, avec SG j'ai un bon compromis entre le nombre de pics et le faux positifs. Par contre, il faut bien comprendre qu'il peut dans tous les cas avoir des faux négatifs (des "vrais" pics qui ne sont pas détectés).

Pour ce qui est des caractéristiques précises de cet algorithme concernant son applicabilité à tes données... désolé mais ça sort de mes compétences A ce niveau, il faut se référer à la littérature internationale spécialisée.

EDIT (*) : "certaines" techniques de détection des pics. Par exemple, les techniques de détection des pics basées sur la transformation en ondelettes discrètes (qui prennent en compte la "morphologie" des pics) sont peu sensibles au bruit et ne nécessite pas de débruitage

[Nebulix]

Merci pour cette réponse détaillée!

Je travaille sur des données financières donc fortement bruitées.

Appliquer la notion de bruit à des données financières me parait ... osé

[Lamyaa34]

Appliquer la notion de bruit à des données financières me parait ... osé

Ce qui me parait plutôt osé, c'est l'absence de réponses pertinentes et des critiques incessantes!!!

En économétrie, on qualifie les séries financières de bruitées dans la mesure où il existe une grande part du signal qui n'est en général pas expliqué par les modèles retenus. D'ailleurs, la réduction du bruit sans perte d'information pertinente a longtemps fait l'objet de nombreuses recherches en économétrie financières.
Contrairement à l'exemple donné par gbdivers, le bruit présent dans les séries financières n'est pas additif mais plutôt multiplicatif.
PS: MERCI gbdivers pour ces précisions!

[pseudocode]

Ce qui me parait plutôt osé, c'est l'absence de réponses pertinentes et des critiques incessantes!!!

Je pense que ce que veux dire Nebulix c'est que ces filtres permettent de filtrer le bruit de mesure.

Signal (sans bruit) --> Mesure du Signal (ajout de bruit) --> Filtrage (atténuation du bruit de mesure) --> Signal filtré

Ces filtres de lissage ont plutôt une approche "traitement du signal" qu'une approche "modélisation de système" (mixture, deconvolution, ...)

[Nebulix]

Je pense que ce que veux dire Nebulix c'est que ces filtres permettent de filtrer le bruit de mesure.

Signal (sans bruit) --> Mesure du Signal (ajout de bruit) --> Filtrage (atténuation du bruit de mesure) --> Signal filtré

Ces filtres de lissage ont plutôt une approche "traitement du signal" qu'une approche "modélisation de système" (mixture, deconvolution, ...)

En général, en physique, on définit un bruit comme résultant de phénomènes aléatoires, indépendants du phénomène étudié.
En finance, tout est déterministe a priori, même ce qui est "inexpliqué".
Dans les deux cas, les courbes peuvent avoir un aspect similaire, qu'on peut décrire par le même mot de "bruit", mais les mécanismes en sont différents.
Appliquer ce qui est valable dans un cas à l'autre est ... osé

[gbdivers]

c'est l'absence de réponses pertinentes et des critiques incessantes

Je trouve qu'au contraire, remettre en cause la pertinence de l'utilisation du débruitage est important. J'ai justement donné un exemple concret d'utilisation dans ma pratique parce que je suis incapable de juger si l'utilisation du débruitage est pertinent dans un autre cadre d'utilisation. Comme le dit pseudocode, la base est la théorie de la mesure : l'utilisation du débruitage dans mon cas répond à un phénomène physique produit par les appareils de mesure.

Comme je l'ai dit dans mon premier message, le mieux est probablement de commencer sans débruitage. Je rajoute "sauf si tu trouves une justification forte dans les articles pour son utilisation dans ton domaine".