Microsoft avertit que « ses services d’IA ne sont pas destinés à remplacer les conseils d’un professionnel »
Microsoft avertit que « ses services d’IA ne sont pas destinés à remplacer les conseils d’un professionnel » dans une mise à jour de ses accords de service
Qui suggère de se servir de l’IA avec des pincettes
Microsoft informe le public que ses services d'IA ne doivent pas être pris trop au sérieux. Dans une mise à jour de ses accords de service qui prend effet le 30 septembre 2024, la firme de Redmond déclare que « ses services d'IA ne sont pas conçus ou destinés à être utilisés comme substituts de conseils professionnels. » Grosso modo, le tableau attire l’attention sur la nécessité d’une mise à contribution de l’intelligence artificielle avec des pincettes, dans un contexte où les entreprises optent de plus en plus pour l’IA en lieu et place de programmeurs.
La réalité sur le terrain est en effet que, malgré les avancées de l’intelligence artificielle, la vigilance humaine reste indispensable
La réalité actuelle est que ces intelligences artificielles sont encore au stade d’outils à utiliser avec des pincettes. Même Google le confirme lors de l’annonce selon laquelle son IA Bard peut désormais aider à coder et à créer des fonctions pour Google Sheets : « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »
« ChatGPT est très doué pour fournir des astuces de codage en utilisant du code copié sur Internet, ce qui est incroyablement utile car cela peut faire gagner beaucoup de temps. Mais vous ne pouvez pas demander à ChatGPT de créer YouTube pour vous, de gérer et d'entretenir un système déjà opérationnel ou de parler à un client, de comprendre ses besoins et de construire un système qui résoudra ses problèmes. Pour obtenir de l'aide dans ces tâches complexes, vous devez comprendre le fonctionnement de ces systèmes. Vous devez être un ingénieur logiciel et ChatGPT sera un excellent assistant pour vous. Mais il est loin de pouvoir résoudre ces problèmes. Et si c'était le cas, il s'agirait d'une intelligence artificielle générale qui ne remplacerait pas uniquement les ingénieurs en informatique. Mais il s'agit d'un modèle de langage. Ce n'est pas une source de sagesse. La résolution de problèmes, la pensée critique, l'originalité sont toujours du ressort des humains », déclare le créateur de la plateforme en ligne d’apprentissage dénommée Brilliant.
L’erreur de ChatGPT qui a coûté 10 000 dollars à une startup est un rappel que, malgré les avancées de l’IA, la vigilance humaine reste indispensable. Les outils d’IA sont puissants, mais ils ne remplacent pas le jugement critique et l’expertise des développeurs. En fin de compte, c’est la responsabilité des équipes humaines de s’assurer que la technologie qu’elles utilisent est sûre et fiable.
D'ailleurs, l'erreur ne saurait être imputable entièrement à ChatGPT : les développeurs auraient dû prendre la peine d'analyser le code au lieu de se limiter à quelques tests avant la copie. Ils semblent le reconnaitre lorsqu'ils déclarent :
« Je voudrais commencer par dire que les pratiques en question sont très mauvaises et embarrassantes (et nous avons depuis ajouté des tests unitaires et d'intégration robustes ainsi que des alertes et des enregistrements), qu'elles auraient pu et dû être évitées, qu'il s'agissait d'erreurs humaines au-delà de tout, et qu'elles sont très évidentes avec le recul.
« Cela s'est passé à une autre époque, avec d'importantes contraintes de temps, aux tout premiers stades (premières semaines) de la création d'une entreprise. Je partage surtout cette histoire comme une anecdote amusante avec des circonstances uniques entourant la reproductibilité des bogues en prod (encore une fois à cause de notre propre stupidité) ».
Quoi qu'il en soit, tout est bien qui finit bien : « Rétrospectivement, aussi pénibles qu'aient été ces cinq jours, c'est l'un de ces moments de la vie d'une startup que nous n'oublierons jamais. Comme toutes les startups, nous avons fait une tonne d'erreurs tout au long de notre parcours, celle-ci étant peut-être la pire. J'évoquerai peut-être les autres plus tard. Nous sommes simplement heureux de pouvoir regarder ces jours-là en arrière et d'en rire. Oui, nous aurions dû faire plus de tests. Oui, nous n'aurions pas dû copier-coller du code. Oui, nous n'aurions pas dû passer directement à l'application principale. Quoi qu'il en soit, je ne regrette pas cette expérience ».
La mise à jour de Microsoft semble confirmer les avis selon lesquels les entreprises exagèrent sur les capacités de l’intelligence artificielle
ChatGPT peut s’avérer très bon à résoudre des problèmes de codage qui existaient sur la plateforme LeetCode avant 2021. Passé cette période, ChatGPT fait montre de piètres performances en raison de la qualité du jeu de données d’entraînement. Grosso modo, c’est ce qui ressort d’une étude qui permet d’arriver à la conclusion que l’intelligence artificielle reste un outil à utiliser avec des pincettes. Pourtant elle atterrit dans un contexte de battage médiatique autour de l’intelligence et de sa capacité à remplacer les humains dans la filière du développement de logiciels.
En effet, après ChatGPT, c’était au tour de l’IA d’ingénierie logicielle dénommée Devin de secouer la filière du développement de logiciels en raison de son aptitude annoncée à remplacer les humains dans la filière. Sa présentation faisait suite à celle de l’intelligence artificielle dénommée Magic.dev et annoncée au public comme un « ingénieur logiciel superhumain. ».
Magic.dev et Devin partagent un dénominateur commun : une proposition de valeur qui passe par une présentation musclée ; « ingénieur logiciel superhumain » ou encore « première IA d’ingénierie logicielle entièrement autonome. » Les retours à ce sujet font néanmoins état de ce que toutes ces IA, dans leur forme actuelle, sont plutôt des assistants de codage.
Une récente étude est en effet arrivée à la conclusion que l’IA générative ne remplacera pas les développeurs de sitôt. Des chercheurs de l'université de Princeton ont développé un cadre d'évaluation basé sur près de 2300 problèmes courants de génie logiciel montés à partir de rapports de bogues et de feature requests soumis sur GitHub afin de tester la performance de divers modèles de grands langages (LLM).
Les chercheurs ont fourni à différents modèles de langage le problème à résoudre et le code du dépôt. Ils ont ensuite demandé au modèle de produire un correctif réalisable. Ce dernier a ensuite fait l’objet de tests pour s'assurer qu'il était correct. Mais le LLM n'a généré une solution efficace que dans 4 % des cas.
Source : Microsoft
Et vous ?
Quelles sont les raisons pour lesquelles vous estimez que la montée en puissance de l’intelligence artificielle ne constitue pas une menace pour les postes de développeur informatique ?
Voir aussi :
Répondre avec citation
Partager