Discussion :

[Axel Lecomte]

L’application AI4COVID-19 se base sur l’IA pour établir un diagnostic préliminaire en analysant la toux,
son taux de précision dépasse les 90 % d’après ses concepteurs

Le nombre de personnes atteintes et tuées par le nouveau coronavirus ne cesse d’augmenter dans le monde (1,2 million de cas et 69 500 décès). Actuellement, la lutte contre cette maladie passe aussi par l’utilisation de l’intelligence artificielle. Les acteurs du secteur arrivent en effet à mettre au point plusieurs outils permettant notamment d’optimiser le suivi des malades ou la désinfection des zones contaminées, la recherche pharmaceutique ou le dépistage. Sur ce dernier point, une équipe de chercheurs des universités de l’Oklahoma (États-Unis), de Kharkiv (Ukraine) et du Michigan (États-Unis) ont pu créer une application mobile censée aider au diagnostic du coronavirus grâce à l’analyse du son de la toux de l’utilisateur.

Nommée AI4COVID-19, l’application réalise un enregistrement de la toux du sujet qui dure 2 secondes. Ensuite, elle analyse les échantillons sonores grâce à un moteur d’IA fonctionnant dans le Cloud avant de renvoyer un diagnostic préliminaire en une minute. À part la rapidité du test, les scientifiques revendiquent que son taux de précision est supérieur à 90 %.

« Les analyses basées sur l’IA des radiographies et des tomodensitogrammes du système respiratoire ont montré qu’il est possible d’exploiter les différences dans les altérations pathomorphologiques causées par le COVID-19 pour effectuer un diagnostic différentiel entre l’infection bactérienne, l’infection virale non COVID-19 et l’infection virale COVID-19, avec une précision remarquable », constatent les chercheurs, dans un rapport publié dans la plateforme arXiv.

« Cela implique que le COVID-19 affecte le système respiratoire de manière assez distincte par rapport aux autres infections respiratoires. Il est donc logique d’émettre l’hypothèse que les ondes sonores de la toux produites par le système respiratoire infecté par le COVID-19 présentent également des caractéristiques latentes uniques et que le risque de chevauchement de ces caractéristiques avec celles associées à d’autres infections respiratoires est faible », ajoutent-ils.

Les chercheurs ont ensuite intégré un détecteur de toux dans leur moteur d’IA, qui est capable de distinguer le son de 50 bruits autres ambiants courants. Pour former et tester le système de diagnostic, ils ont collecté plusieurs enregistrements : 48 COVID-19, 102 bronchites, 131 coqueluches et 76 quintes de toux normales.

Si le son de la toux est détecté par l’application, il est transmis à trois systèmes de classification parallèles et indépendants : le classificateur multi-classes basé sur l’apprentissage en profondeur (DL-MC), le classificateur multi-classes basé sur l’apprentissage machine classique (CML-MC) et le classificateur binaire basé sur l’apprentissage en profondeur (DL-BC). Les résultats des trois classificateurs sont alors transmis à un médiateur. Si les classificateurs ne sont pas d’accord, l’application affiche que le test n’est pas concluant. Dans le cas contraire, les trois classificateurs vont utiliser des approches différentes qui feront l’objet d’une validation croisée qui aboutira à deux résultats (positif ou négatif).

« Malgré ses performances impressionnantes, AI4COVID-19 n'est pas destiné à rivaliser avec les tests cliniques. Au contraire, il offre un outil fonctionnel unique pour surveiller, tracer, suivre et, surtout, contrôler en temps utile, de manière rentable et sûre, la propagation rampante de la pandémie mondiale en permettant virtuellement le dépistage pour tous. Alors que nous travaillons à l'amélioration de l'AI4COVID-19, ce rapport a pour but de présenter une validation de principe afin d'encourager les essais cliniques et le soutien de la communauté pour des données plus étiquetées », conclut toutefois l'équipe de chercheurs.

Source : arXiv

Et vous ?

Que pensez-vous de cette application ?

Voir aussi :

IA contre le coronavirus : un nouveau consortium de scientifiques va utiliser l'IA et certains des supercalculateurs les plus avancés, pour endiguer les pandémies actuelles et futures
Le port d'un masque n'empêchera plus la reconnaissance faciale, le coronavirus ayant incité les sociétés à développer des solutions pour les personnes dont le visage est partiellement couvert
Le secteur des services informatiques face à Armageddon, alors que le confinement dû au Covid-19 force les annulations de projets, d'après des analystes
« Les mesures de surveillance high-tech contre l'épidémie de Covid-19 survivront au virus et pourront devenir permanentes », prévient Snowden, à propos de méthodes comme le traçage de smartphones
Covid-19 : faut-il pister les téléphones pour cibler les lieux de rassemblements ? Le PM canadien n'écarte pas l'idée d'aller vers un « totalitarisme sanitaire », d'après les défenseurs des libertés

[GLDavid]

Bonjour

Du buzz et du bullshit en barre! Une publication sur arxiv n'est qu'indicative et n'a pas encore été acceptée/validée par un journal digne de ce nom.
Comment se faire remarquer avec tout ce qui marche en ce moment.
Je propose même une grille de bingo avec les mots suivants: IA, covid, incentive, mobile, intrusive...
Tiens en parlant d'intrusif, j'ose espérer que l'appli a le bon goût de ne pas refourguer les infos à d'autres... Nevermind, je pense que c'est déjà fait :-(

@++

[walfrat]

48 COVID-19, 102 bronchites, 131 coquelicots et 76 quintes de toux normales.

Cela me paraît très limite pour être fiable.
48 personne atteinte du COVD-19 dans l'échantillon, mais à quel stade ? Celui de la simple toux quasiment asymptomatique ou du gars déjà sous respirateur ?

[youtpout978]

Autant aller se faire dépister sur Doctissimo

[Matthieu Vergne]

Une publication sur arxiv n'est qu'indicative et n'a pas encore été acceptée/validée par un journal digne de ce nom.

C'est à moitié vrai, car beaucoup de publications sont prépubliées sur arXiv. Une fois publié, l'article est soumis à la licence de l'éditeur, on ne peut donc pas faire ce qu'on veut avec. Une prépublication n'a pas cette contrainte car les modifications suite à la revue de l'éditeur n'ont pas encore eu lieu.

Quand bien même ce serait vrai, ça ne serait pas un argument pertinent. Publier dans un journal, ça prend des mois voire des années, on n'attendra donc pas une publication de journal. Pareil pour une conférence, surtout qu'elles sont toutes annulées maintenant. Tout ce qu'on peut utiliser pour l'instant ce sont des rapports techniques, or c'est précisément ce dont il est question ici. Le fait que ce soit un rapport technique n'est donc pas dommageable, par contre ça impose de prendre les pincettes nécessaires, à savoir : rien de conclusif, uniquement des pistes potentielles à creuser.

Une fois qu'on a rappelé ça, on peut juger le papier, celui-ci contenant déjà des pincettes :

At the time of writing, we had access to 102 bronchitis, 131 pertussis, 48 COVID-19, and 76 normal cough sounds to train and test our diagnosis system. Obviously these are very small numbers of samples and more data is needed to make the solution more reliable. New COVID-19 cough samples are arriving daily and we are using these unseen samples to test the trained algorithm.

Donc pas la peine de les critiquer là dessus, ils le savent et c'est normal, il s'agit d'un rapport technique faisant état de ce qui a été fait jusque là. Ce que je note en revanche, c'est que ça nous donne un ensemble assez déséquilibré, à savoir 48 COVID sur 357, soit 13% de COVID. Si l'objectif est de détecter le COVID, c'est très biaisé. Il serait par exemple facile d'obtenir 87% de précision en disant systématiquement "non COVID". Il convient donc de savoir ce qu'ils entendent par 90% de précision. Pour cela, on peut regarder cette table qui donne les données d'un des classifieurs :


Ce qui nous intéresse d'abord, c'est combien de cas COVID sont détectées correctement, autrement dit le nombre de COVID détectés (vrais positifs) sur le nombre de COVID total (vrais positifs + faux négatifs). C'est le sensitivity (ou recall), qui est annoncé à 99.67%. Dans un deuxième temps, ce qui nous intéresse est combien de cas non COVID sont détectés correctement, autrement dit les non COVID détectés (vrais négatifs) sur ceux attendus (vrais négatifs + faux positifs). C'est le specificity, qui est annoncée à 97.5%.

Ça semble cool comme ça, mais sur 48 cas de COVID, avoir tout juste revient à 48/48=100% et avoir 1 erreur revient à 47/48=97,92%, donc j'ai du mal à voir comment ils peuvent trouver une valeur entre les deux pour le sensitivity. Pour le specificity, les cas attendus sont de 357-48=309, 97.5% revient donc à 301/309 cas non COVID corrects, mais on a des arrondis, donc a priori ça ne doit pas être exactement cette valeur. Le soucis est que je n'ai trouvé aucun exemple dans l'article pour illustrer les calculs effectués, c'est à dire ce qu'ils comptent dans les vrais/faux positifs/négatifs pour obtenir de tels résultats. Il semble donc à première vue qu'il y ait des erreurs de calculs.

D'autant plus que, si les choses sont faites correctement, la majeure partie est censée être utilisée pour l'entraînement et le reste pour la validation. Si on prend les usuels 80/20, soit 20% des données utilisées pour la validation, cela revient à 10 cas COVID et 62 cas non COVID, autrement dit 1 erreur devrait faire tomber le sensitivity à 9/10=90%, loin des 99.67% annoncés. Le specificity à 97.5% revient à peu près à 60 cas sur 62, mais les gros arrondis semblent montrer qu'on ne joue pas avec ces valeurs. Il me faudrait descendre à 40 cas (97.5%=39/40) ou remonter à 80 cas (97.5%=78/80). Quoi qu'il en soit, cela augmente le flou du sensitivity. Mais encore une fois, je n'ai pas trouvé de détails sur la méthode de validation utilisée, je ne sais donc pas s'ils ont bien séparé l'ensemble de données en deux (et à combien) où s'ils ont juste tout utilisé comme ensemble d'entraînement qu'ils ont ensuite réutilisé comme ensemble de test. Dans ce dernier cas, cela ne permet pas de conclure quoi que ce soit sur de nouvelles entrées, et donc de savoir si ce système est ne serait-ce qu'utilisable.

En bref, même sans parler de fiabilité du système en lui-même, on manque de détails pour juger correctement l'intérêt de l'étude. Celle-ci mériterait une révision pour corriger tout ça de façon à pouvoir confirmer l'intérêt d'aller plus loin.

Si je devais résumer : y'a de l'idée, mais on n'a rien à en tirer pour l'instant.

[GLDavid]

Bonjour Matthieu,

Je te rejoins sur ton analyse de l'article et sur le fait que j'ai été rapide sur arXiv. Je soutiens que les publications scientifiques devraient être publiques et libres; pourvu que celles-ci soient néanmoins validées tant sur la méthode et les résultats par leurs pairs. Or, cela ne me semble pas être le cas pour cet article.
Toutefois, je ne te suis pas quand tu dis:

Si je devais résumer : y'a de l'idée, mais on n'a rien à en tirer pour l'instant.

De mon point de vue, ce 'test' ne repose que sur du vent et mes craintes sont:

1. les biais dans l'analyse statistique que tu soulèves (je dirais même l'irrelevance)
2. où iront ces données? Quelles sont leurs utilisations à posteriori?
3. Si je 'triche' et que je suis 'covid-likely' selon ce programme, quelles conséquences? Suis-je fiché? Tracé? Fliqué?

Par ailleurs, les seuls tests sur lesquels on peut s'appuyer avec certitude sont:

• La PCR: pourvu que les amorces soient spécifiques
• ELISA: qui présente l'avantage de détecter soit le virus, soit les anticorps et de révéler l'immunité

Je maintiens que ces chercheurs ont voulu jouer sur la "hype" actuel que sont l'IA et le covid-19 a le dos large en ce moment.
Je vois aussi beaucoup de contestations quand aux publications d'un Raoult sur les effets de l'hydroxy-chloroquine.
Ma conclusion est que nous devons prendre connaissance des papiers concernant le covid avec énormément de pincettes. Beaucoup sont prêts à publier n'importe quoi car les sommes derrières promises sont considérables.

@++

[Matthieu Vergne]

Je soutiens que les publications scientifiques devraient être publiques et libres; pourvu que celles-ci soient néanmoins validées tant sur la méthode et les résultats par leurs pairs. Or, cela ne me semble pas être le cas pour cet article.

À moitié d'accord.

Je ne sais pas si tu es familier du processus de revue par les pairs, mais sache que ce n'est pas le Graal de la recherche, bien au contraire. Cela fait des années que celui-ci est remis en cause pour plusieurs raisons. La première est que cette revue est faite par très peu de personnes, en général on vise 3 personnes, mais selon les contraintes de ressources cela peut descendre à 2 personnes voire intégrer de simples étudiants pour combler les trous, amenant grosso modo à 1 seule vrai revue de fond et 2-3 revues de surface sans intérêt. De plus, ces personnes sont sélectionnées par l'éditeur, il peut donc y avoir du réseautage dans le processus ou simplement des biais dans la sélection. Ensuite, ces sélectionnés sont volontaires, une personne compétente estimant que l'éditeur est un charlatan et donc refusant de participer n'empêchera pas ledit éditeur de trouver d'autres personnes (potentiellement moins compétentes et en manque de reconnaissance) pour faire la revue, et donc obtenir un article "revu par les pairs". Si tu prends cet article, il a été co-rédigé par 8 personnes, on peut donc se demander en quoi avoir 3 personnes relativement aléatoires pour la revue augmenterait significativement sa qualité. Certes la notion de conflit d'intérêt est à considérer, mais cela s'applique aussi aux pairs sélectionnés.

Je dresse là un tableau noir de la revue, qui bien entendu n'est pas systématiquement aussi mauvaise, mais c'est pour bien comprendre qu'elle est bourrée de failles et qu'il ne faut donc pas la prendre comme une "validation scientifique". Ce n'est pas la revue de quelques uns mais le consensus de l'ensemble de la communauté qui valide un travail. Comment s'établit ce consensus ? En ayant une masse de scientifiques qui considèrent que ton travail est bien fait. Et comment on s'assure de ça ? Avec le temps principalement : citer ton article pour s'appuyer dessus revient à dire que l'on considère ton article comme valable, et à force de citations ici et là, un article deviendra référence.

À cela il faut ajouter qu'il y a des phases de publications. Pour rester simple :
1. essai -> rapport technique, publication immédiate sans revue
2. expérience méthodique -> article de conférence, publications après plusieurs mois avec 1 étape de revue
3. expérience finalisée -> article de journal, publications après plusieurs mois ou années avec n étapes de revue (tant que jugé nécessaire par l'éditeur)

En l'occurrence, si tu vises directement un journal, on pourra te refuser en disant que tu n'as pas d'abord publié en conférence pour présenter et discuter ton travail avec d'autres labos.

De toute évidence, un consensus prend du temps à être établit dans la communauté scientifique, donc inutile d'espérer avoir des travaux validés de la sorte durant une crise. C'est juste impossible avec les pratiques actuelles. Il faut donc faire avec les moyens du bord et se retrancher sur ce qu'on a. C'est l'Histoire qui nous dira plus tard si on avait raison ou pas. Donc si en temps normal il est effectivement pertinent de mettre de côté les études préliminaires comme celle qui nous intéresse ici, quelqu'un de pragmatique n'oublie pas qu'on n'est pas en temps normal, et qu'à situation d'urgence on applique des mesures d'urgence : on fait au mieux avec ce qu'on a.

De mon point de vue, ce 'test' ne repose que sur du vent et mes craintes sont:

1. les biais dans l'analyse statistique que tu soulèves (je dirais même l'irrelevance)
2. où iront ces données? Quelles sont leurs utilisations à posteriori?
3. Si je 'triche' et que je suis 'covid-likely' selon ce programme, quelles conséquences? Suis-je fiché? Tracé? Fliqué?

Pour le premier point, objectivement on peut critiquer l'étude actuelle, mais un travail scientifique n'est pas un one-shot. Il y a les différentes phases de publications, mais même au sein d'une phase, un travail fait l'objet de plusieurs publications en fonction de son évolution. Et même un seul article, surtout un rapport technique, peut évoluer. Cet article là en est à sa V2 par exemple. Il n'est pas interdit que d'autres versions arrivent, avec plus de données, des corrections, des détails, etc. Il ne faut donc pas la jeter parce que ce serait le premier jet, il faut la prendre en sachant que c'est le premier jet.

Les points 2 & 3 en revanche n'ont rien à voir avec l'étude. Ce sont des considérations opérationnelles et politiques. Il serait mal venu de critiquer l'article sur ces points. On peut en revanche avoir un avis sur l'usage qui en est fait, mais cela ne remet pas en cause le bien fondé de l'étude. La recherche est là pour répondre aux questions qu'on se pose, pas pour juger de ce qui est bon ou mauvais.

Par ailleurs, les seuls tests sur lesquels on peut s'appuyer avec certitude sont:

• La PCR: pourvu que les amorces soient spécifiques
• ELISA: qui présente l'avantage de détecter soit le virus, soit les anticorps et de révéler l'immunité

Une technique basée sur de l'apprentissage machine est, par construction, sans garantie, vu qu'il s'agit toujours d'établir un modèle taillé à priori pour approximer la réalité. Les auteurs n'ont d'ailleurs pas pour objectif de remplacer les tests existants, mais de fournir une alternative qui puisse être utilisée en masse pour compléter l'existant :

AI4COVID-19 is not designed to compete with clinical testing. Instead, it offers a complementing tele-testing tool deployable anytime, anywhere, by anyone, so clinical-testing and treatment can be channeled to those who need it the most, thereby saving more lives.

Cela impose des résultats raisonnables pour un coût faible. Si le coût faible est en effet à attendre d'une telle solution, il reste à valider sa qualité. Cet article n'est qu'un premier pas dans ce sens.

De mon point de vue, le raisonnement de fond est donc le bon, car si ça se confirme, on aura là une solution très intéressante à exploiter. En revanche, on ne peut encore rien en tirer du fait des limites déjà mentionnées. D'où ma conclusion.

[GLDavid]

Mouais, je te répond que je ne suis qu'à moitié d'accord avec toi aussi, comme ça, tout le monde est content.
Le processus de revue par les pairs a ses inconvénients mais il est pour le moment le plus logique.
On défend chacun sa propre paroisse et navré, mais je crois plus en un test biochimique ou de biologie moléculaire éprouvé qu'en une publication qui, de mon point de vue, joue sur du buzz et du vent.
Mon point est que l'on sort l'IA comme une vérité absolue alors qu'on en est encore loin. Merci d'ailleurs aux chercheurs dans ce domaine de persévérer à ce que les modèles établis deviennent plus sûr.
Ma crainte repose aussi sur l'utilisation malhonnête que tu peux faire d'un tel algorithme.

@++