Amazon utilise les données vocales collectées par les haut-parleurs Echo pour diffuser de la pub ciblée
Amazon utilise les données vocales collectées par les haut-parleurs connectés Echo pour diffuser de la publicité ciblée,
selon les résultats d'une étude
Les haut-parleurs connectés collectent des entrées vocales qui peuvent être utilisées pour déduire des informations sensibles sur les utilisateurs, selon les résultats d'une étude. Les auteurs de cette étude ont développé un framework d'audit qui tire parti de la publicité en ligne pour mesurer la collecte de données, son utilisation et son partage par les plateformes de haut-parleurs connectés. Ils ont évalué leur framework sur l'écosystème d'enceintes connectées d'Amazon. Leurs résultats montrent qu'Amazon et des tiers (y compris des services de publicité et de suivi) collectent des données d'interaction avec des haut-parleurs connectés ; Amazon les a partagées avec pas moins de 41 partenaires publicitaires. Les chercheurs ont constaté qu'Amazon traite les données vocales pour déduire les intérêts des utilisateurs et les utilise pour diffuser des publicités ciblées sur la plateforme (appareils Echo) ainsi que hors plateforme (Web). L'interaction avec les haut-parleurs connectés entraîne des enchères publicitaires jusqu'à 30 fois plus élevées de la part des annonceurs. Enfin, les chercheurs ont constaté que les pratiques opérationnelles d'Amazon et de Skills sont souvent incompatibles avec leurs politiques de confidentialité.
Selon des chercheurs de quatre universités américaines, Amazon et des services tiers utilisent des données d'interaction avec des haut-parleurs connectés pour le ciblage publicitaire, en violation des engagements de confidentialité.
Des universitaires de l'Université de Washington, de l'Université de Californie-Davis, de l'Université de Californie-Irvine et de l'Université Northeastern affirment « qu'Amazon traite les données vocales pour déduire les intérêts des utilisateurs et les utilise pour diffuser des publicités ciblées sur la plateforme (appareils Echo) ainsi qu'à l'extérieur de la plateforme (web) ».
Les chercheurs (Umar Iqbal, Pouneh Nikkhah Bahrami, Rahmadi Trimananda, Hao Cui, Alexander Gamero-Garrido, Daniel Dubois, David Choffnes, Athina Markopoulou, Franziska Roesner, Zubair Shafiq) décrivent leurs découvertes dans un article intitulé Your Echos are Heard : Tracking, Profiling, and Ad Targeting in the Amazon Smart Speaker Ecosystem (littéralement « Vos échos sont entendus : Suivi, profilage et ciblage publicitaire dans l'écosystème d'enceintes connectées d'Amazon »).
Les dix universitaires disent que l'interaction avec des haut-parleurs connectés (c'est-à-dire lorsque vous parlez à l'appareil) génère des enchères publicitaires d'annonceurs qui sont jusqu'à 30 fois plus élevées que les enchères ne le seraient sans les données des haut-parleurs Amazon Echo. De plus, disent-ils, la façon dont Amazon et les développeurs de Skills (les fabricants de logiciels intégrés au service d'assistant vocal Alexa d'Amazon) fonctionnent est souvent incompatible avec les politiques de confidentialité. Pour mémoire les skills (compétences) sont, en quelque sorte, l’équivalent des applications sur mobile. Les Skills ajoutent de nouvelles fonctionnalités à Alexa. Elles vous permettent de personnaliser l’utilisation de votre Amazon Echo ou de vos appareils qui intègrent Alexa
Cela ne vous surprendra peut-être pas ; dans tous les cas, le document fournit une plongée technique et une analyse approfondie de la manière dont Amazon, les appareils Echo, Alexa et les publicités sont tous liés.
Pour comprendre comment les développeurs d'Amazon et de Skills gèrent les données audio, les chercheurs ont développé un framework d'audit afin d'évaluer la manière dont les données vocales sont collectées, utilisées et partagées. Ils l'ont fait parce que les haut-parleurs connectés Amazon Echo ne fournissent pas d'interface pour évaluer la façon dont les données sont utilisées et qu'il n'y a pas de mécanisme prêt à l'emploi pour comprendre ce qui arrive aux données des haut-parleurs connectés envoyées sur Internet.
Les chercheurs ont donc créé plusieurs personnes factices avec différents profils d'utilisation de haut-parleurs connectés, puis ont simulé des interactions pour tester les différences statistiques dans les montants d'enchères pour les publicités audio et Web. De cette façon, ils affirment avoir été en mesure de déduire l'effet des interactions avec le haut-parleur connecté impliquant ces personnes factices.
Techniquement, le framework d'audit impliquait la configuration d'un routeur Raspberry Pi personnalisé pour enregistrer les points de terminaison du réseau contactés par Amazon Echo et l'émulation d'un Amazon Echo en configurant le SDK Alexa Voice Service, afin de capturer le trafic réseau non chiffré.
Cette configuration matérielle et logicielle a été utilisée pour émettre des commandes vocales vers un Amazon Echo afin de voir comment les données étaient utilisées pour les publicités audio (via Amazon Music, Spotify et Pandora), sur le Web pour les publicités display (personnes factices utilisant un navigateur connecté dans le compte Amazon et l'application compagnon Web Alexa), et sur les appareils non-Echo.
Les personnes factices ont été configurées pour installer et interagir avec des Skills associées à leurs intérêts respectifs. Ceux-ci comprenaient*: la voiture connectée, les rencontres, la mode et le style, les animaux de compagnie et les animaux, la religion et la spiritualité, la maison connectée, le vin et les boissons, la santé et la forme physique, ainsi que la navigation et les planificateurs de voyage.
Les chercheurs affirment que les données d'interaction Echo sont collectées à la fois par Amazon et par des tiers et qu'Amazon partage les données des utilisateurs avec pas moins de 41 partenaires publicitaires. Ils disent que le ciblage publicitaire activé par les données conduit à des enchères publicitaires jusqu'à 30 fois plus élevées, et que la déduction par Amazon des intérêts publicitaires à partir des données vocales est une violation claire de la politique de confidentialité et des déclarations publiques de l'entreprise.
En outre, plus de 70 % des Skills ne mentionnent pas Alexa ou Amazon, et seulement 2,2 % clarifient leurs pratiques de collecte de données dans leurs politiques de confidentialité, affirment les chercheurs.
Un problème de transparence
« La déduction par Amazon des intérêts publicitaires à partir de la voix des utilisateurs est une violation claire de leurs politiques et déclarations publiques », déclarent les chercheurs dans leur article. « Amazon ne fournit pas de transparence dans l'utilisation des données et ne peut donc pas être fiable pour protéger la confidentialité des utilisateurs ».
Le document observe également qu'Amazon a obtenu un brevet en 2018 intitulé « Détermination basée sur la voix des caractéristiques physiques et émotionnelles des utilisateurs » qui décrit comment « l'état physique et/ou émotionnel actuel de l'utilisateur peut faciliter la capacité à fournir un son hautement ciblé contenu, tel que les promotions de publicités audio, à l'utilisateur ».
Voici ce qui est écrit en guise de résumé du brevet : « L'invention concerne des systèmes, des procédés et des supports lisibles par ordinateur pour la détermination vocale de caractéristiques physiques et émotionnelles d'utilisateurs. Des exemples de procédés peuvent comprendre la détermination de premières données vocales, les premières données vocales étant générées par un utilisateur, la détermination d'un premier statut d'utilisateur en temps réel de l'utilisateur à l'aide des premières données vocales, la génération d'une première étiquette de données indicative du statut en temps réel de l'utilisateur, la détermination d'un premier contenu audio à présenter sur un haut-parleur à l'aide de la première étiquette de données et des premières données vocales, et provoquer la présentation du premier contenu audio via haut-parleur ».
Invité à commenter, un porte-parole d'Amazon a contesté certaines des conclusions des articles sans citer d'inexactitudes spécifiques. « De nombreuses conclusions de cette recherche sont basées sur des inférences ou des spéculations inexactes de la part des auteurs, et ne reflètent pas avec précision le fonctionnement d'Alexa », a déclaré un porte-parole d'Amazon dans un communiqué.
Ce à quoi Umar Iqbal, chercheur postdoctoral à l'Université de Washington et auteur principal de l'article, a répondu : « Il s'agit d'une déclaration générale sans aucun détail concret ».
Invité à fournir des détails, Amazon a déclaré à propos de la modification du prix de l'offre de 30x : « Le prix des enchères publicitaires est influencé par plusieurs facteurs qui ne sont pas liés aux demandes vocales ou aux interactions avec Alexa ». Amazon a également défendu sa gestion du respect de la politique de confidentialité : « Nous demandons aux développeurs de Skill qui collectent des informations personnelles de fournir une politique de confidentialité, que nous affichons sur la page de détail de Skill, et de collecter et d'utiliser ces informations conformément à leur politique de confidentialité et à la loi applicable », a déclaré la société.
Amazon a également insisté sur le fait qu'il ne vendait pas de données, ce que, précisons-le, l'article des chercheurs n'affirme pas : « Nous ne vendons pas de données et nous ne partageons pas les requêtes Alexa avec les réseaux publicitaires », a déclaré la grande enseigne américaine.
Iqbal a répliqué, avec des références au document de l'étude : « Nous trouvons des preuves qu'Alexa Skills communique directement avec les services de publicité/de suivi (section 4.2). Nous notons également que les partenaires publicitaires d'Amazon synchronisent leurs cookies avec Amazon et enchérissent plus que les annonceurs non partenaires ( section 5.5). Une explication logique de ce comportement est qu'Amazon/Skills partagent/vendent les données d'intérêt des utilisateurs avec leurs partenaires publicitaires. Nous ne prétendons pas qu'Amazon partage directement les entrées/transcriptions vocales avec les réseaux publicitaires ».
C'est-à-dire que les enregistrements des conversations Alexa ne sont pas transmis textuellement, bien que la nature de ce qui est discuté soit apparemment utilisée pour guider les types d'annonces avec lesquelles vous serez ciblé.
La déclaration d'Amazon se poursuit : « Similaire à ce que vous vivriez si vous faisiez un achat sur Amazon.com ou demandiez une chanson via Amazon Music, si vous demandiez à Alexa de commander des serviettes en papier ou de jouer une chanson sur Amazon Music, l'enregistrement de cet achat ou la lecture d'une chanson peuvent être utilisés pour des publicités pertinentes diffusées sur Amazon ou d'autres sites où Amazon place des publicités. Les clients peuvent désactiver les publicités basées sur les centres d'intérêt d'Amazon à tout moment sur notre site Web ».
Iqbal a noté : « Cette déclaration appuie en fait nos conclusions ».
Ce n'est pas la première fois cette année que les enceintes connectées Echo sont pointées du doigt par les chercheurs
Le mois dernier, des chercheurs universitaires ont mis au point un hack fonctionnel qui réquisitionne les haut-parleurs connectés Amazon Echo et les oblige à déverrouiller les portes, à passer des appels téléphoniques et des achats non autorisés, et à contrôler les fours, les fours à micro-ondes et d'autres appareils connectés.
Le hack fonctionne en utilisant le haut-parleur de l'appareil pour émettre des commandes vocales. Tant que le discours contient le mot de réveil de l'appareil (généralement Alexa ou Echo suivi d'une commande autorisée, l'Echo l'exécutera.
Même lorsque les appareils nécessitent une confirmation verbale avant d'exécuter des commandes sensibles, il est trivial de contourner la mesure en ajoutant le mot "oui" environ six secondes après l'émission de la commande. Les attaquants peuvent également exploiter ce que les chercheurs appellent le "FVV" pour full voice vulnerability ou vulnérabilité vocale complète, qui permet aux Echo d'effectuer des commandes autoémises sans réduire temporairement le volume de l'appareil.
Parce que le hack utilise la fonctionnalité Alexa pour forcer les appareils à effectuer des commandes autoémises, les chercheurs l'ont surnommé "AvA", abréviation d'Alexa contre Alexa. Il ne nécessite que quelques secondes de proximité avec un appareil vulnérable lorsqu'il est allumé afin qu'un attaquant puisse prononcer une commande vocale lui demandant de se coupler avec l'appareil compatible Bluetooth d'un attaquant. Tant que l'appareil reste à portée radio de l'Echo, l'attaquant pourra émettre des commandes.
L'attaque « est la première à exploiter la vulnérabilité des commandes arbitraires autoémises sur les appareils Echo, permettant à un attaquant de les contrôler pendant une période prolongée », ont écrit les chercheurs dans un article. « Avec ce travail, nous supprimons la nécessité d'avoir un haut-parleur externe près de l'appareil cible, augmentant ainsi la probabilité globale de l'attaque ».
Les chercheurs ont découvert qu'ils pouvaient utiliser AvA pour forcer les appareils à exécuter une multitude de commandes, dont beaucoup avaient de graves conséquences sur la confidentialité ou la sécurité. Les actions malveillantes possibles incluent :
- contrôler d'autres appareils connectés par exemple pour éteindre les lumières, allumer un four à micro-ondes connecté, régler le chauffage à une température dangereuse ou déverrouiller les serrures de porte connectée. Comme indiqué précédemment, lorsque les échos nécessitent une confirmation, l'adversaire n'a qu'à ajouter un "oui" à la commande environ six secondes après la demande ;
- appeler n'importe quel numéro de téléphone, y compris celui contrôlé par l'attaquant, afin qu'il soit possible d'écouter les sons à proximité. Alors que les Echo utilisent une lumière pour indiquer qu'ils passent un appel, les appareils ne sont pas toujours visibles pour les utilisateurs, et les utilisateurs moins expérimentés peuvent ne pas savoir ce que signifie la lumière ;
- faire des achats non autorisés en utilisant le compte Amazon de la victime. Bien qu'Amazon enverra un e-mail informant la victime de l'achat, l'e-mail peut être manqué ou l'utilisateur peut perdre confiance en Amazon. Alternativement, les attaquants peuvent également supprimer des éléments déjà présents dans le panier du compte ;
- altérer le calendrier précédemment lié d'un utilisateur pour ajouter, déplacer, supprimer ou modifier des événements ;
- se faire passer pour des skills ou lancer n'importe quelle skill au choix de l'attaquant. Ceci, à son tour, pourrait permettre aux attaquants d'obtenir des mots de passe et des données personnelles. Pour mémoire, les skills (compétences) sont, en quelque sorte, l’équivalent des applications sur mobile. Les Skills ajoutent de nouvelles fonctionnalités à Alexa. Elles vous permettent de personnaliser l’utilisation de votre Amazon Echo ou de vos appareils qui intègrent Alexa ;
- récupérer tous les énoncés prononcés par la victime. En utilisant ce que les chercheurs appellent une "attaque masquée", un attaquant peut intercepter des commandes et les stocker dans une base de données. Cela pourrait permettre à l'attaquant d'extraire des données privées, de recueillir des informations sur les compétences utilisées et de déduire les habitudes des utilisateurs.
Amazon a corrigé plusieurs des faiblesses, dont une qui utilisait les Skills d'Alexa pour réveiller automatiquement les appareils, ce qui permettait d'utiliser facilement les stations de radio pour fournir des commandes auto-émises. Dans un communiqué, les responsables de l'entreprise ont écrit :
« Chez Amazon, la confidentialité et la sécurité sont fondamentales dans la conception et la livraison de chaque appareil, fonctionnalité et expérience. Nous apprécions le travail des chercheurs en sécurité indépendants qui aident à attirer notre attention sur les problèmes potentiels et nous nous engageons à travailler avec eux pour sécuriser nos appareils. Nous avons résolu le problème d'auto-réveil à distance avec Alexa Skills causé par de longues périodes de silence résultant de balises de rupture, comme l'ont démontré les chercheurs. Nous avons également des systèmes en place pour surveiller en permanence les compétences en direct afin de détecter tout comportement potentiellement malveillant, y compris les nouvelles invites silencieuses. Toutes les compétences fautives que nous identifions sont bloquées lors de la certification ou rapidement désactivées, et nous améliorons constamment ces mécanismes pour protéger davantage nos clients ».
Sources : rapport des chercheurs, brevet Voice-based determination of physical and emotional characteristics of users
Et vous ?
Que pensez-vous dans l'absolu des enceintes connectées ?
Voir aussi :
Répondre avec citation
Partager