Discussion :

[Patrick Ruiz]

L’entreprise Axon vend une IA qui transforme les enregistrements des caméras corporelles en rapports de police
« Une sorte de cauchemar », d’après un responsable de l’EFF qui évoque les biais

Axon affirme que son intelligence artificielle permettra à un plus grand nombre de policiers de quitter le bureau et de se rendre dans les rues. Les détracteurs sont pour leur part d’avis que le système est susceptible de rendre les policiers paresseux et d’introduire des erreurs dans des preuves cruciales. Les débats portent en sus sur les avantages et les inconvénients de la mise à contribution de la transcription audio vers texte pour les besoins des forces de l’ordre.

Les policiers américains font de plus en plus appel à l'intelligence artificielle pour les aider dans leur travail, qu'il s'agisse de modèles d'intelligence artificielle qui analysent les schémas criminels ou de drones capables de voler tout seuls. Désormais, une IA basée sur GPT-4 peut effectuer l'une de leurs tâches les moins attrayantes : la rédaction de rapports.

Axon, l'entreprise de 22 milliards de dollars connue pour la fabrication de l'arme électrique Taser, est derrière ce nouvel outil appelé Draft One. Il sert à la transcription automatique de l'audio des caméras corporelles en rapports de police. Axon affirme qu'un des premiers testeurs de l'outil, le service de police de Fort Collins Colorado, a constaté une diminution de 82 % du temps passé à rédiger des rapports. « Si un agent passe la moitié de sa journée à rédiger des rapports et que nous pouvons réduire ce temps de moitié, nous avons la possibilité de libérer 25 % du temps de l'agent pour qu'il puisse à nouveau faire son travail de policier », déclare un responsable de l’entreprise.

Ces rapports sont utilisés comme éléments de preuve dans les procès pénaux, et les critiques s'inquiètent du fait que l'utilisation de l'IA pourrait mettre les gens en danger en dépendant de modèles de langage connus pour leurs "hallucinations" ou leurs inventions, ainsi que pour leurs préjugés raciaux, qu'ils soient manifestes ou inconscients.

« C'est une sorte de cauchemar. La police, qui n'est pas spécialisée dans l'intelligence artificielle et qui ne le sera pas non plus dans la reconnaissance des problèmes liés à l'IA, va utiliser ces systèmes pour générer des contenus susceptibles d'affecter des millions de personnes lors de procès pénaux ? », s’inquiète Dave Maass, directeur des enquêtes sur les technologies de surveillance à l'Electronic Frontier Foundation. Axon se veut néanmoins rassurante en soulignant que les policiers peuvent effectueront la revue des documents générés par l’intelligence artificielle pour s'assurer de leur exactitude.

Police using AI to generate reports from body camera footage. #axon #draftone #generativeai #policereports pic.twitter.com/phACbZTMTL

— Trey Smith (@trey_smith) April 24, 2024

Les critiques recommandent aux policiers de ne pas utiliser l'intelligence artificielle pour rédiger des rapports sur des incidents aussi graves qu'une fusillade, où des informations vitales pourraient être omises : « Une fusillade impliquant un officier est probablement un scénario où elle ne serait pas utilisée, et je déconseillerais probablement aux gens de l'utiliser, simplement parce qu'il y a tellement de complexité, les enjeux sont tellement élevés ».
L'outil sera accompagné d'une piste d'audit répertoriant toutes les actions effectuées par un utilisateur, afin que les services de police puissent s'assurer qu'un rapport a été examiné et validé. Toutes les informations sont stockées et traitées sur les serveurs Microsoft Azure.

Certains responsables des forces de l'ordre sont d'avis que si la police devait utiliser l'intelligence artificielle pour rédiger des rapports, les services auraient besoin de politiques, de procédures et d'une supervision clairement définies. « Il faut s'assurer que le processus d'audit est réel. Si ces règles sont respectées, l'IA pourrait faire gagner du temps », indique un ex directeur de la police de Boston.

Source : Axon

Et vous ?

Pour ou contre l’utilisation de tels dispositifs par les forces de l’ordre ?

Voir aussi :

La reconnaissance faciale comme méthode de sécurité est inutile pour 4 smartphones sur 10 d'après une étude

La reconnaissance faciale du Samsung Galaxy S10 peut facilement être trompée par une photo ou une vidéo du propriétaire du téléphone

Le propriétaire d'un téléphone Android trouve accidentellement un moyen de contourner l'écran de verrouillage, et reçoit 70 000 dollars de Google pour avoir signalé le problème

Une tête imprimée en 3D a pu tromper le système de reconnaissance faciale de plusieurs smartphones Android populaires lors d'un test

[Mathis Lucas]

Quand l'IA menace l'intégrité de la justice : les policiers américains utilisent l'IA pour rédiger des rapports de police, et l'ACLU n'est pas contente
elle soulève des risques en matière de transparence

La popularité croissante des outils d'IA auprès de la police soulève de profondes préoccupations chez les groupes de défense des droits de l'homme. En dépit des problèmes liés aux logiciels de reconnaissance faciale basée sur l'IA déjà utilisés pour identifier les suspects, la technologie est désormais employée pour rédiger les rapports de police. L'ACLU dénonce un cas d'utilisation dangereux et affirme que « les rapports de police générés par l'IA risquent d'exacerber les problèmes existants en matière d'application de la loi et d'en créer de nouveaux ». L'organisation ajoute que cette pratique soulève des inquiétudes en matière de transparence et de partialité.

L'ACLU dénonce l'utilisation de l'IA pour la rédaction de rapports de police

Profitant du battage médiatique intense autour de l'IA, la société américaine Axon a lancé « Draft One », un outil qui utilise l'IA pour transformer les enregistrements des caméras corporelles en rapports de police. Axon affirme que l'un des premiers testeurs de l'outil, le service de police de Fort Collins Colorado, a constaté une diminution de 82 % du temps passé à rédiger des rapports. Mais beaucoup craignent un gain de temps au détriment de la transparence.

L'ACLU (American Civil Liberties Union) a publié cette semaine un rapport détaillant ses préoccupations concernant Draft One. Dans son article, l'ACLU a exprimé ses craintes quant à la fiabilité des rapports de police générés par Draft One, qui selon elle, pourraient souffrir d'un manque de transparence et d'impartialité. Elle ne croit guère que Draft One évitera d'entraîner des violations potentielles des droits civils et encore moins, des problèmes de liberté civile.

« Les rapports de police jouent un rôle crucial dans notre système judiciaire. Les inquiétudes portent notamment sur le manque de fiabilité et la nature partiale de l'IA, les problèmes de preuve et de mémoire lorsque les officiers ont recours à cette technologie, et les problèmes de transparence », a déclaré Jay Stanley, analyste principal de la politique de l'ACLU en matière de discours, de vie privée et de technologie. Jay Stanley est l'auteur du rapport de l'ACLU.

« En fin de compte, nous ne pensons pas que les services de police devraient utiliser cette technologie », a conclu Jay Stanley. Cependant, plusieurs services de police à travers les États-Unis ont progressivement testé des programmes d'IA au cours de l'année dernière, y compris Draft One de la société Axon.

Ce nombre est en augmentation, les villes américaines présentant les fonctions d'IA générative comme une solution aux contraintes de budget et de personnel. Des experts ont critiqué la mise en œuvre de cette technologie, citant le rôle essentiel que jouent les rapports de police dans la prise de décision judiciaire.

L'ACLU expose quatre grands domaines de préoccupation liés à la pratique

Si nous ne pouvons même pas faire confiance à l'IA pour rédiger quelque chose d'aussi simple qu'une nouvelle ou un rapport de bogue, comment pouvons-nous lui faire confiance pour effectuer un travail de police décent ? C'est l'une des principales inquiétudes soulevées par l'ACLU, d'autant plus que les rapports sont compilés à partir d'enregistrements de caméras corporelles qui sont souvent de mauvaise qualité et difficiles à entendre clairement.

L'ACLU expose quatre grands domaines de préoccupation. Elle souligne l'incertitude alimentée par les biais et les hallucinations inhérents à la technologie elle-même, et s'interroge sur la transparence de ces processus vis-à-vis du grand public, sans parler des implications en matière de confidentialité des données :

Des problèmes liés à la technologie elle-même

Selon l'ACLU, l'IA est biaisée, peu fiable et encline à inventer des faits. Étant donné que les grands modèles de langage (LLM) sont formés sur d'énormes quantités de données provenant de l'ensemble du Web, ils absorbent inévitablement le racisme, le sexisme et les autres préjugés qui imprègnent notre culture.

Par conséquent, l'ACLU affirme que même si un programme d'IA ne commet pas d'erreurs explicites ou ne présente pas de préjugés évidents, il peut toujours tourner les choses de manière subtile, sans que l'officier de police chargé de le superviser s'en aperçoive. Ce qui pourrait avoir des conséquences désastreuses.

Craintes concernant les preuves et la mémoire

Selon l'ACLU, la mémoire humaine - contrairement aux enregistrements vidéo - est extrêmement malléable ; des informations ultérieures sur un événement peuvent littéralement modifier le souvenir qu'une personne a de ce qui s'est passé. L'ACLU estime que c'est pourquoi il est important que les expériences subjectives et les souvenirs d'un agent soient mémorisés avant d'être contaminés par la narration d'une IA basée sur une caméra corporelle.

Mais si le rapport de police a été généré par l'IA à partir de la vidéo d'une caméra corporelle, il peut passer sous silence certains faits ou détails que l'agent aurait pu enregistrer, ou pire encore, permettre l'agent de mentir ; par exemple s'il constate que quelque chose d'illégal qu'ils ont fait n'a pas été filmé par la caméra.

« L'élasticité de la mémoire humaine est la raison pour laquelle nous pensons qu'il est vital que les agents fassent leur déclaration sur ce qui s'est passé lors d'un incident avant d'être autorisés à voir une vidéo ou d'autres preuves », indique le rapport de l'ACLU.

Préoccupations en matière de transparence

L'organisation affirme que cette pratique soulève des inquiétudes en matière de transparence et de partialité. Étant donné la nature novatrice et expérimentale des rapports de police générés par l'IA, il est important que le public comprenne ce qui se passe afin que des experts indépendants puissent évaluer la technologie et que les communautés et leurs représentants élus puissent décider s'ils veulent que les officiers de police qui les servent l'utilisent.

« Il est également essentiel que les personnes mises en cause dans des affaires pénales puissent interroger les preuves retenues contre elles. Pourtant, le fonctionnement de ces systèmes reste en grande partie mystérieux », explique l'organisation de droit civique dans son rapport.

Préoccupations liées à la responsabilité des agents

L'ACLU rappelle que les justifications écrites par les policiers pour des contrôles, des fouilles, des perquisitions et des fouilles par consentement sont examinées par leurs supérieurs, qui utilisent ce qui est écrit pour identifier les cas où un policier pourrait ne pas connaître ou ne pas respecter ces limites.

Le passage aux rapports de police rédigés par l'IA balaierait ces rôles importants de responsabilité que les rapports jouent au sein des services de police et dans l'esprit des agents. L'ACLU a conclu que les services de police ne devraient pas autoriser les agents à utiliser l'IA pour générer des projets de rapports de police.

« La technologie de rédaction de rapports par l'IA supprime d'importants éléments humains des procédures policières et est trop nouvelle, trop peu testée, trop peu fiable, trop opaque et trop partiale pour être insérée dans notre système de justice pénale », a déclaré l'organisation dans son rapport.

Draft One intègre une fonction qui permet d'insérer intentionnellement des phrases idiotes dans les rapports générés par l'IA, pour s'assurer que les agents examinent et révisent les rapports de manière approfondie. Mais le PDG d'Axon a déclaré que la plupart des agences choisissent de ne pas activer cette fonction.

Des pratiques controversées en matière d'innovation

Il convient de souligner qu'Axon n'a pas la meilleure réputation lorsqu'il s'agit de réfléchir de manière critique aux innovations : la plupart des membres du comité d'éthique de l'entreprise ont démissionné en 2022 lorsque Axon a annoncé son intention d'équiper des drones télécommandés de pistolets Taser.

Axon a ensuite interrompu le programme à la suite d'une réaction négative du public. Par ailleurs, Axon n'est pas la seule entreprise à proposer une IA permettant de rédiger un rapport de police. D'autres entreprises telles que Policereports.ai et Truleo offrent également deux des services similaires.

La pratique introduit également des risques de confidentialité

L'ACLU souligne également les problèmes de confidentialité liés à l'utilisation de l'IA pour traiter les images des caméras corporelles. Les données policières sont sensibles, alors qui va les traiter exactement ? Selon Axon, « toutes les données de Draft One, y compris les transcriptions des caméras et les rapports préliminaires, sont stockées et gérées en toute sécurité au sein du réseau Axon », mais il n'y a aucune indication sur la nature de l'infrastructure.

Axon a indiqué dans un communiqué de presse datant d'avril 2024 que « Draft One a été construit au-dessus de la plateforme Azure OpenAI Service de Microsoft ». Pourtant, Microsoft indique que les policiers ne sont pas autorisés à utiliser son infrastructure cloud pour la reconnaissance faciale.

Cependant, cela ne s'applique apparemment pas au fait de laisser une IA rédiger des rapports de police. Ce n'est pas vraiment une source de confiance étant donné les antécédents de Microsoft et d'Azure en matière de sécurité ces derniers temps, notamment avec les préoccupations liées à la fonction Windows Recall.

« Lorsqu'un utilisateur (tel qu'Axon) télécharge un document ou saisit une invite, ces deux éléments sont transmis à l'opérateur du modèle de langage (tel qu'OpenAI), et ce que cet opérateur fait de ces informations n'est soumis à aucune protection légale de la vie privée », peut-on lire dans le rapport de l'ACLU.

Axon affirme ici qu'aucune donnée du client [c'est-à-dire de la police] n'est transmise à OpenAI, mais pour qu'un modèle comme ChatGPT analyse un bloc de texte tel que la transcription d'une vidéo prise par une caméra corporelle, vous envoyez normalement ce texte à la société qui gère le modèle, comme OpenAI.

« Je ne suis pas sûr de savoir comment cela fonctionnerait dans le cas de Draft One », a déclaré Jay Stanley. En fin de compte, Draft One est déjà utilisé par les forces de l'ordre américaines depuis son lancement en avril 2024. L'on ignore combien d'agences utilisent Draft One, et Axon ne communique pas ce chiffre.

Source : American Civil Liberties Union (1, 2)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'utilisation de l'IA pour la rédaction des rapports de police ?
Quels sont les risques liés à ce cas d'utilisation de l'IA ? Que pensez-vous des faits soulevés par l'ACLU ?

Voir aussi

L'entreprise Axon vend une IA qui transforme les enregistrements des caméras corporelles en rapports de police, « une sorte de cauchemar », d'après un responsable de l'EFF qui évoque les biais

La reconnaissance faciale comme méthode de sécurité est inutile pour 4 smartphones sur 10, d'après une étude

Microsoft interdit aux services de police américains d'utiliser son outil IA pour la reconnaissance faciale, une semaine après qu'un fabricant de produits technologiques et d'armes a annoncé utiliser GPT-4

[der§en]

J’ai demandé son avis à chatGPT, et voici sa réponse :

Dans des contextes sensibles comme la rédaction de rapports de police, il serait imprudent de me confier une responsabilité complète sans supervision humaine. Mes limites incluent :

1. Biais : Mes réponses peuvent refléter les biais des données sur lesquelles je suis entraînée.
2. Erreurs ou hallucinations : Je peux produire des informations incorrectes ou inventées.
3. Manque de transparence : Mon processus de génération de contenu est difficile à expliquer en détail.

Je peux être utile comme outil d’assistance, mais je ne devrais pas remplacer un jugement humain éclairé, surtout dans des domaines critiques pour la justice et les droits civils.