Discussion :

[Mathis Lucas]

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud
selon une étude

Les grands modèles de langages (LLM) sont incroyablement gourmands en mémoires et cela constitue un défi majeur à surmonter pour les entreprises. Mais une étude publiée récemment par les chercheurs d'Apple évoque des pistes de solution pour une inférence efficace des modèles d'IA sur les appareils à mémoire limitée, dont les smartphones. Elle suggère qu'Apple a l'intention d'offrir la possibilité aux utilisateurs d'exécuter les modèles d'IA directement sur leurs appareils iOS plutôt que sur le cloud. Apple est en retard par rapport à ses rivaux dans le domaine de l'IA générative, mais les analystes considèrent cette trouvaille comme une percée qui pourrait l'aider à réduire l'écart.

Les chatbots basés sur de grands modèles de langage, comme ChatGPT et Claude, nécessitent généralement de grandes quantités de mémoire pour fonctionner, ce qui représente un défi pour les appareils avec une capacité de mémoire limitée. Les chercheurs en tentent depuis quelques années de relever le défi, mais peu de progrès ont été réalisés, du moins jusque-là. Pour résoudre ce problème, les chercheurs d'Apple ont mis au point une nouvelle technique qui utilise la mémoire flash - la même mémoire que celle où se trouvent vos applications et vos photos - pour stocker les données du modèle d'IA. Ils ont publié un rapport d'étude au début du mois.

L'article a été publié le 12 décembre, mais il a attiré l'attention après avoir été mis en évidence mercredi en fin de journée sur Hugging Face, une plateforme populaire sur laquelle les chercheurs en IA présentent leurs travaux pour des discussions. Il s'agit du deuxième article d'Apple sur l'IA générative ce mois-ci, et il fait suite à des initiatives antérieures visant à permettre à des modèles de génération d'images tels que Stable Diffusion de fonctionner sur ses processeurs personnalisés. Apple, tout comme les autres fabricants d'équipements et de processeurs, espère que les nouvelles fonctions d'IA contribueront à relancer le marché des smartphones.

L'article de recherche est intitulé "LLM in a flash : Efficient Large Language Model Inference with Limited Memory". Dedans, les auteurs notent que la mémoire flash est plus abondante dans les appareils mobiles que la mémoire vive traditionnellement utilisée pour l'exécution des modèles. Ainsi, leur méthode contourne astucieusement cette limitation en utilisant deux techniques clés qui minimisent le transfert de données et maximisent le débit de la mémoire flash :

1. le fenêtrage : il s'agit d'une méthode de recyclage. Au lieu de charger de nouvelles données chaque fois, le modèle d'IA réutilise une partie des données qu'il a déjà traitées. Cela réduit la nécessité d'aller constamment chercher des données en mémoire, ce qui rend le processus plus rapide et plus fluide ;
2. regroupement lignes-colonnes : cette technique revient à lire un livre par morceaux plutôt qu'un mot à la fois. En regroupant les données plus efficacement, elles peuvent être lues plus rapidement à partir de la mémoire flash, ce qui accélère la capacité de l'IA à comprendre et à générer du langage.

Selon l'article, la combinaison de ces méthodes permet aux modèles d'IA de fonctionner jusqu'à deux fois la taille de la mémoire disponible de l'iPhone. Cela se traduit par une augmentation de la vitesse de 4 à 5 fois sur les processeurs standard (CPU) et de 20 à 25 fois sur les processeurs graphiques (GPU). Les auteurs ont écrit : « cette avancée est particulièrement cruciale pour le déploiement de modèles avancés dans des environnements à ressources limitées, ce qui élargit leur applicabilité et leur accessibilité ». Les analystes affirment qu'il s'agit d'une avancée majeure qui ouvre la voie à de nouvelles possibilités pour les futurs appareils d'Apple.

Les travaux d'Apple sur l'IA générative pourraient éventuellement être intégrés à son assistant vocal Siri. Les possibilités comprennent de nouvelles fonctionnalités plus avancées sur Siri, la traduction en temps réel et des fonctions sophistiquées basées sur l'IA dans les domaines de la photographie, de la réalité virtuelle et de la réalité augmentée. Cela ouvre également la voie à l'utilisation d'assistants d'IA complexes et de chatbots sur les iPhone, ce que la firme de Cupertino serait déjà en train de faire. Selon certaines sources, Apple a organisé en février un sommet sur l'IA et a informé les employés de ses travaux sur les grands modèles de langage.

Selon les analystes, Apple vise une version plus intelligente de Siri, profondément intégrée à l'IA. Apple prévoit d'actualiser la façon dont Siri interagit avec l'application iMessage, afin de permettre aux utilisateurs de répondre à des questions complexes et de compléter automatiquement des phrases de manière plus efficace. En outre, Apple aurait l'intention d'ajouter l'IA à autant d'applications que possible sur ses plateformes. Apple a été largement écartée de la vague d'enthousiasme pour l'IA générative qui a déferlé sur la Silicon Valley au cours des derniers mois, notamment après le lancement par OpenAI de son chatbot révolutionnaire ChatGPT.

Plusieurs analystes estiment qu'Apple est à la traîne par rapport à ses rivaux, bien qu'il ait embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que Microsoft et Google se sont largement concentrés sur la fourniture de chatbots et d'autres services d'IA générative sur Internet à partir de leurs vastes plateformes de cloud, les recherches d'Apple suggèrent qu'elle se concentrera plutôt sur une IA qui peut fonctionner directement sur un iPhone. Une initiative qui peut faire une grande différence. Certains rivaux d'Apple, tels que Samsung, se prépareraient à lancer un nouveau type de smartphone à IA l'année prochaine.

Counterpoint Research s'attend à ce que plus de 100 millions de smartphones axés sur l'IA soient livrés en 2024, et que 40 % des nouveaux appareils offrent de telles capacités d'ici à 2027. De son côté, Cristiano Amon, PDG de Qualcomm, le plus grand fabricant de puces mobiles au monde, note que l'introduction de l'IA dans les smartphones créerait de nouvelles expériences pour les consommateurs et inverserait la tendance baissière des ventes de téléphones portables. « Vous verrez des appareils lancés au début de 2024 avec un certain nombre de cas d'utilisation de l'IA générative », a déclaré Amon lors d'une récente interview.

Il a ajouté : « au fur et à mesure que ces choses se développent, elles apportent un changement significatif dans l'expérience de l'utilisateur et permettent une innovation qui a le potentiel de créer un nouveau cycle de mise à niveau dans les smartphones ». Les chercheurs d'Apple ont testé leur approche sur des modèles tels que Falcon 7B, une version plus petite d'un modèle open source développé à l'origine par l'Institut d'innovation technologique d'Abou Dhabi. Bien sûr, les divers articles de recherche publiés par Apple ne sont pas un indicateur direct de la manière dont l'entreprise entend ajouter de nouvelles fonctionnalités à ses produits.

Mais ils offrent un rare aperçu de ses laboratoires de recherche secrets et de ses dernières percées techniques. « Notre travail apporte non seulement une solution à un goulot d'étranglement informatique actuel, mais crée également un précédent pour les recherches futures. Nous pensons qu'à mesure que la taille et la complexité des modèles augmentent, des approches comme celle-ci seront essentielles pour exploiter tout leur potentiel dans une large gamme d'appareils et d'applications », indique le rapport de l'étude. Par ailleurs, des rapports signalent qu'Apple serait en train de développer son propre modèle d'IA générative appelé "Ajax".

Conçu pour rivaliser avec les modèles GPT-3 et GPT-4 d'OpenAI, Ajax aurait 200 milliards de paramètres, ce qui suggère un niveau élevé de complexité et de capacité en matière de compréhension et de génération de langage. Appelé "Apple GPT" en interne, Ajax viserait à unifier le développement de l'apprentissage automatique au sein d'Apple, ce qui suggère une stratégie plus large visant à intégrer plus profondément l'IA dans l'écosystème d'Apple. Ajax serait plus performant que la génération précédente GPT 3.5. Cependant, les modèles plus récents d'OpenAI pourraient avoir progressé au-delà des capacités d'Ajax à partir de septembre 2023.

L'analyste Jeff Pu affirme qu'Apple proposera une sorte de fonction d'IA générative sur l'iPhone et l'iPad vers la fin de l'année 2024, date à laquelle iOS 18 sortira. Il a déclaré en octobre qu'Apple a construit quelques centaines de serveurs d'IA en 2023, et en construira probablement plus en 2024. Apple proposerait une combinaison d'IA basée sur le cloud et d'IA avec traitement sur l'appareil. Enfin, la firme de Cupertino a lancé discrètement au début du mois une série de nouveaux outils d'apprentissage automatique.

Source : rapport d'étude (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'inférence des modèles d'IA directement sur l'iPhone plutôt que sur le cloud ?
Quels impacts les recherches d'Apple pourraient-elles avoir sur l'entreprise et sur le domaine de l'IA en général ?
Selon vous, quels sont les cas d'utilisation possibles avec l'inférence des modèles d'IA directement sur les smartphones ?

Voir aussi

Apple testerait en interne un modèle de langage appelé "Apple GPT" et développerait des outils d'IA générative pour concurrencer OpenAI, ces outils pourraient servir à renforcer Siri à l'avenir

Apple dépenserait "des millions de dollars par jour" pour l'IA, Apple a pris le train de l'IA comme tout le monde, selon le rapport de The Information

Surpris par le boom de l'IA générative, Apple envisagerait de dépenser 1 milliard de dollars par an pour rattraper son retard, selon un rapport

[Bruno]

Apple, sous le feu des critiques pour ses prix élevés et des accusations de pratiques monopolistiques, projette de lancer l'iPhone AI en 2024,
selon les prévisions de Morgan Stanley

Selon une note de recherche récente de Morgan Stanley, près de la moitié des offres d'emploi d'Apple dans le domaine de l'intelligence artificielle (IA) comprennent désormais le terme Deep Learning, qui se rapporte aux algorithmes alimentant les modèles d'IA générative qui peuvent produire du texte, de l'audio et du code semblables à ceux d'un humain en quelques secondes. L'entreprise a embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que le monde se concentre sur la course à l'armement en matière d'IA, alimentée par des mastodontes basés sur le cloud comme ChatGPT et PaLM, Apple pourrait être en train de préparer une révolution plus silencieuse pour ses produits. De récentes recherches menées par ses experts laissent entrevoir un changement potentiel : un puissant modèle de langage (LLM) qui ne fonctionne pas dans un centre de données éthéré, mais directement sur les iPhone ou iPad.

Apple renforce ses capacités en intelligence artificielle de manière discrète, en effectuant des acquisitions, des embauches et des mises à jour matérielles. La société californienne a acquis 21 startups spécialisées dans l'IA depuis 2017, mettant l'accent sur la résolution des défis technologiques liés à l'utilisation de l'IA sur les appareils mobiles, notamment les iPhones. Apple semble se concentrer sur l'exploitation de l'IA générative directement sur ses appareils, permettant aux chatbots et aux applications d'IA de fonctionner localement plutôt que d'être alimentés par des services en nuage. Pour atteindre cet objectif, la société travaille sur la réduction de la taille des grands modèles de langage alimentant l'IA et sur le développement de processeurs plus performants.

Morgan Stanley considère les services comme l'un des bénéficiaires potentiels de la production par Apple d'un iPhone doté de l'IA. « Nous pensons que les mises à jour logicielles Gen-AI d'Apple peuvent également accélérer les dépenses de services par utilisateur, qui s'élèvent à seulement 8 dollars par mois aujourd'hui, grâce à de nouveaux paiements de coûts d'acquisition de trafic, à une meilleure attache des services, à l'accélération des achats sur l'App Store et à un éventuel abonnement premium à Siri ». Mais ce sont les ventes de matériel qui, selon Morgan Stanley, seront les plus améliorées par le passage à l'IA.

« Depuis le lancement de l'iPhone 12 5G en octobre 2020, nous estimons que les cycles de remplacement de l'iPhone se sont allongés de près de 12 mois, pour atteindre un record de 4,5 ans, indique Morgan Stanley, un produit de la courbe d'innovation qui se stabilise, de la meilleure qualité des appareils et des vents contraires aux dépenses en biens de consommation. »

Les grands modèles de langage jouent un rôle central dans le traitement moderne du langage naturel, excelling dans diverses tâches. Toutefois, en raison de leurs importantes exigences en calcul et en mémoire, ils posent des défis, surtout pour les appareils dotés d'une capacité de mémoire vive limitée. L’approche vise à créer un modèle de coût d'inférence qui prend en considération les caractéristiques de la mémoire flash, guidant ainsi l'optimisation dans deux domaines critiques : la réduction du volume de données transférées depuis la mémoire flash et la lecture de données en morceaux plus grands et contigus.

La prochaine Worldwide Developers Conference d'Apple pourrait révéler des avancées majeures dans ce domaine, avec des spéculations sur l'intégration de l'IA générative dans iOS 18. Apple a également embauché des experts en IA, dont John Giannandrea de Google, et a dévoilé de nouvelles puces orientées vers l'IA, renforçant ainsi sa position dans la course à l'armement en matière d'IA parmi les grandes entreprises technologiques. Bien que d'autres fabricants aient déjà lancé des appareils avec des fonctionnalités d'IA générative, Apple semble se concentrer sur l'innovation responsable et sur la création de solutions intégrées dans son écosystème. Les analystes estiment que les futures mises à niveau des iPhones seront stimulées par des fonctionnalités d'IA générative, renforçant ainsi la position d'Apple sur le marché.

Intégration et amélioration de l'IA dans l'écosystème Apple

Apple a jeté les bases d'un solide cadre d'IA dans son écosystème. Les applications actuelles de l'entreprise en matière d'IA et d'apprentissage automatique comprennent l'amélioration des capacités des appareils photo, des fonctions de recherche et de l'expérience utilisateur grâce à des suggestions intelligentes. Avec des moteurs neuronaux dédiés, les appareils Apple sont bien équipés pour le traitement de l'IA sur l'appareil. L'entreprise prévoit de lancer des fonctionnalités d'IA générative vers la fin de l'année 2024, en mettant l'accent sur un mélange de traitement de l'IA basé sur le cloud et sur l'appareil.

Les implémentations existantes de l'IA et de l'apprentissage automatique d'Apple couvrent un large éventail de fonctions, des améliorations de l'appareil photo aux fonctions de recherche intuitives à l'échelle du système. Ses appareils sont équipés de moteurs neuronaux, ce qui souligne l'engagement d'Apple en faveur du traitement de l'IA sur l'appareil. L'introduction de fonctions d'IA générative, attendue pour fin 2024, représente un bond en avant significatif, combinant l'IA basée sur le cloud et l'IA sur l'appareil pour créer des systèmes plus puissants et plus efficaces.

Les chercheurs d'Apple ont publié une étude stimulante intitulée "LLM in a Flash", qui remet en question le discours dominant sur les LLM basés sur le cloud. Leur principale idée est de reconnaître le potentiel inexploité du stockage flash, abondamment présent dans les appareils mobiles, en tant qu'alternative viable à la mémoire vive (RAM), le cheval de bataille traditionnel des LLM. Ce changement ouvre la voie à des solutions innovantes qui permettent de surmonter les contraintes de ressources des appareils mobiles.

Au cours des dernières années, les grands modèles de langage (LLM) tels que GPT-3 ont démontré des performances exceptionnelles dans diverses tâches liées au langage naturel. Cependant, malgré leurs capacités sans précédent, ces modèles imposent des exigences significatives en termes de puissance de calcul et de mémoire lors de l'inférence. Les LLM peuvent comporter des centaines de milliards, voire des milliards de paramètres, les rendant difficiles à interpréter et à analyser efficacement, surtout sur des dispositifs aux ressources limitées.

Actuellement, la méthode conventionnelle implique le chargement du modèle de référence dans la mémoire RAM (mémoire dynamique à accès aléatoire) pour l'inférence. Cependant, cette approche restreint considérablement la taille maximale du modèle pouvant être utilisé. Par exemple, un modèle de 7 milliards de paramètres nécessite plus de 14 Go de mémoire uniquement pour lire les paramètres en format de demi-précision à virgule flottante, dépassant ainsi les capacités de la plupart des appareils à écran plat.

Pour remédier à cette limitation, Apple propose de stocker les paramètres du modèle dans la mémoire flash, qui est au moins un ordre de grandeur plus grande que la mémoire RAM. Pendant l'inférence, les ingénieurs changent directement le sous-ensemble de paramètres requis depuis la mémoire flash, évitant ainsi la nécessité de placer l'intégralité du modèle dans la DRAM. La méthode s'appuie sur des recherches récentes démontrant que les MLL présentent une forte parité dans les couches du réseau d'alimentation en amont (FFN).

• La mémoire flash offre une capacité nettement plus élevée, mais souffre d'une largeur de bande nettement inférieure à celle de la mémoire RAM, des caches et des registres de l'unité centrale ou du processeur graphique ;
• Le débit des lectures aléatoires en mémoire flash augmente avec la taille des morceaux séquentiels et le nombre de threads.

Pour libérer ce potentiel, l'étude propose deux techniques ingénieuses :

1. Le fenêtrage : cette méthode permet au LLM de réutiliser des données précédemment traitées au lieu de rechercher de nouvelles informations à chaque étape. C'est un peu comme revisiter les pages clés d'un manuel au lieu de relire l'ensemble du volume pour chaque nouvelle question.
2. Regroupement lignes-colonnes : cette technique réorganise les données en vue d'un traitement plus efficace, un peu comme si l'on réorganisait les livres de bibliothèque par catégorie pour en faciliter l'accès et la compréhension.

L'effet combiné de ces techniques n'est pas seulement théorique. Les chercheurs font état d'une accélération potentielle de 4 à 5 fois du traitement par la CPU mobile et d'une augmentation stupéfiante de 20 à 25 fois pour la GPU lors de l'exécution des LLM. Cela se traduit par un saut tangible dans les capacités d'IA sur l'appareil, ouvrant la voie à des possibilités jusqu'alors inimaginables.

Latence d'inférence d'un jeton lorsque la moitié de la mémoire du modèle est disponible. La méthode charge sélectivement les paramètres à la demande par étape de génération de jetons. Le temps de latence est le temps nécessaire pour charger à partir de la mémoire flash plusieurs fois dans les deux sens pendant la génération de tous les jetons et le temps nécessaire pour les calculs, en moyenne sur tous les jetons générés.

Apple utilise l'apprentissage automatique pour apprendre à ses produits à mieux comprendre le monde, comme le font les humains. L'apprentissage automatique peut aider les produits Apple à être suffisamment intelligents et intuitifs pour améliorer le quotidien des personnes handicapées. Les ingénieurs Apple peuvent créer des fonctions d'apprentissage automatique qui prennent en charge un large éventail d'utilisateurs, notamment les personnes aveugles ou malvoyantes, les personnes sourdes ou malentendantes, les personnes souffrant de limitations physiques motrices et les personnes souffrant de handicaps cognitifs. Les appareils mobiles et leurs applications sont devenus omniprésents. Or, pour les quelque 15 % de la population mondiale souffrant d'un handicap, de nombreuses fonctionnalités et de nombreux services offerts par les applications restent inaccessibles.

Pour être utiles aux utilisateurs, les fonctions d'accessibilité des plateformes mobiles exigent que les applications fournissent des informations complètes et précises décrivant les composants de l'interface utilisateur (IU). Or, de nombreuses applications ne fournissent pas suffisamment de descriptions pour que les fonctions d'accessibilité fonctionnent comme prévu. Lorsque les développeurs ne fournissent pas d'informations précises sur les différents éléments de l'interface utilisateur, certaines parties de l'application ne sont pas accessibles. Ainsi, VoiceOver ne peut pas lire un paragraphe, ou Switch Control ne peut pas activer un bouton. Dans certains cas, une application entière n'est pas accessible aux utilisateurs handicapés.

Apple a mené une étude sur l'inférence de l'accessibilité des applications mobiles à partir de leurs pixels à l'écran. « Nous avons entraîné un modèle robuste, rapide, efficace en termes de mémoire et installé sur l'appareil pour détecter les éléments de l'interface utilisateur à l'aide d'un ensemble de données d'écrans d'applications iPhone collectées et annotées manuellement.

Pour améliorer encore la détection des interfaces utilisateur et ajouter des informations sémantiques, nous avons introduit des heuristiques et des modèles supplémentaires. Par exemple, nous avons regroupé les éléments d'interface utilisateur pertinents afin de réduire le temps de navigation pour les utilisateurs de lecteurs d'écran, et nous avons déterminé si un élément d'interface utilisateur était cliquable », Apple. C'est à partir de cette étude que les chercheurs Apple ont développé la fonction de reconnaissance d'écran, qu’ils ont mise à la disposition du public dans l'iOS 14. La reconnaissance d'écran utilise l'apprentissage automatique et la vision par ordinateur pour détecter et fournir automatiquement du contenu.

Au-delà d'Apple : implications pour l'avenir de l'IA

La décision du géant technologique intervient alors que l'intégration de l'IA devient de plus en plus courante dans l'industrie technologique, avec des entreprises comme Google, Microsoft et Amazon qui intègrent l'IA générative dans leurs produits. En cherchant à faire fonctionner des modèles d'IA sur des appareils tels que les iPhones, Apple se positionne comme un acteur majeur dans la course à l'IA.

Les avancées d'Apple en matière d'IA la placent à l'avant-garde d'une évolution mondiale vers l'intégration de l'IA dans les technologies courantes. D'autres géants de la technologie, dont Google, Microsoft et Amazon, sont également actifs dans ce domaine, faisant de l'IA un champ de bataille clé pour l'innovation et la domination du marché.

L'incursion d'Apple dans les LLM sur appareil a des implications considérables pour l'avenir de l'IA. Elle montre que des appareils aux ressources limitées peuvent héberger une intelligence puissante, remettant en cause le modèle établi de domination de l'IA centrée sur les nuages. Cela pourrait inciter d'autres géants de la technologie à explorer des solutions similaires sur les appareils, ce qui conduirait à un paysage de l'IA plus diversifié et distribué.

En outre, l'engagement d'Apple en faveur de la protection de la vie privée grâce au traitement sur l'appareil pourrait établir une nouvelle norme pour le développement responsable de l'IA. Alors que les inquiétudes concernant la sécurité des données et les biais algorithmiques augmentent, l'approche d'Apple offre une alternative convaincante, qui pourrait influencer la façon dont nous concevons et déployons l'IA dans les années à venir.

L'intégration de l'IA dans les appareils Apple devrait redéfinir l'interaction avec l'utilisateur, en offrant des assistants virtuels plus intelligents, des fonctionnalités adaptatives et des fonctions uniques pilotées par l'IA qui seront probablement exclusives à la gamme de produits Apple. Le fait qu'Apple se lance dans l'exécution de modèles d'IA directement sur les iPhones et d'autres appareils marque une évolution majeure vers des écosystèmes technologiques plus intelligents et plus autonomes. En exploitant les capacités avancées de l'IA, Apple s'apprête à redéfinir l'expérience utilisateur et à renforcer sa position sur le marché concurrentiel de la technologie.

L'ambition d'Apple de faire fonctionner des modèles d'IA sur les iPhones suscite des critiques, associées à ses prix élevés et à des accusations de pratiques monopolistiques

L'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones est critiquée pour ses limites matérielles évidentes, pouvant compromettre l'expérience utilisateur. Intégrer des modèles d'IA sur des appareils mobiles avec des capacités de stockage limitées soulève des préoccupations d'espace pour les utilisateurs.

Apple est souvent critiqué pour ses prix élevés, tant pour ses produits que pour ses services. Son approche tarifaire peut exclure certains consommateurs et donner l'impression que la société privilégie la rentabilité au détriment de l'accessibilité. La marque à la pomme a également été accusé de favoriser des pratiques monopolistiques en limitant le choix des consommateurs et en décourageant la concurrence.

Apple est également critiqué pour ses politiques de réparation restrictives, notamment l'opposition aux réparations effectuées par des tiers et la conception des produits rendant difficile l'auto-réparation. Cela entraîne des coûts élevés pour les utilisateurs et génère des déchets électroniques.

Certains critiques estiment qu'Apple dépend trop des acquisitions pour stimuler l'innovation. Plutôt que de développer en interne, la société a tendance à acquérir des startups technologiques, soulevant des questions sur sa capacité à innover de manière autonome. Bien que des progrès aient été réalisés, Apple a encore des défis en matière d'impact environnemental, notamment en ce qui concerne l'extraction de minéraux pour la fabrication des appareils et la gestion des déchets électroniques. Des critiques estiment que la durabilité devrait être une priorité plus élevée.

L'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones est confrontée à des limites matérielles évidentes. Les capacités de calcul et de mémoire des smartphones sont notoirement restreintes par rapport aux serveurs en nuage. Cette démarche risque de sacrifier la performance globale des iPhones au profit de fonctionnalités d'IA locales, compromettant ainsi l'expérience utilisateur.

Les modèles d'IA, en particulier ceux nécessaires pour des tâches avancées, sont volumineux. L'idée d'intégrer ces modèles sur des appareils mobiles avec des capacités de stockage limitées soulève des préoccupations sérieuses. Les utilisateurs pourraient être confrontés à des problèmes d'espace, ce qui pourrait rendre cette fonctionnalité peu pratique pour un grand nombre d'utilisateurs.

La gestion des mises à jour de modèles d'IA sur les iPhones pourrait s'avérer un défi majeur. Les utilisateurs devraient télécharger des mises à jour fréquentes, potentiellement volumineuses, ce qui pourrait entraîner des complications en termes de gestion de la compatibilité et de l'expérience utilisateur. Cette complexité pourrait décourager les utilisateurs moins techniques.

L'exécution d'algorithmes d'IA complexes directement sur les iPhones pourrait avoir des conséquences néfastes sur la durée de vie de la batterie. Les tâches d'IA intensives peuvent drainer la batterie plus rapidement, compromettant ainsi la principale exigence des utilisateurs : une autonomie prolongée. Apple semble adopter une approche en concurrence directe avec les services en nuage qui offrent une puissance de calcul extensible. Cette décision apparaît comme un choix stratégique malavisé, car elle va à l'encontre de la tendance actuelle qui privilégie l'accès à la puissance de calcul sans contraintes matérielles via le cloud.

Bien qu'Apple soit largement admiré pour son design innovant et ses performances technologiques, ces critiques soulignent des domaines où l'entreprise pourrait améliorer ses pratiques pour répondre aux attentes changeantes des consommateurs et des défis sociétaux. L'exécution d'algorithmes d'IA complexes directement sur les iPhones pourrait affecter la durée de vie de la batterie, compromettant l'autonomie des utilisateurs. Apple semble aller à l'encontre de la tendance en concurrençant les services cloud, suscitant des critiques quant à la sagesse de ce choix stratégique.

Source : Apple

Et vous ?

Quel est votre avis sur le sujet ?

Que pensez-vous de la décision d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones plutôt que d'utiliser des services cloud, qui offrent une puissance de calcul extensible ?

Quels sont les avantages potentiels et les inconvénients de l'approche d'Apple par rapport à d'autres solutions sur le marché qui optent pour le traitement en cloud pour les tâches d'IA ?

Voir aussi :

Apple dépenserait "des millions de dollars par jour" pour l'IA, Apple a pris le train de l'IA comme tout le monde, selon le rapport de The Information

Apple testerait en interne un modèle de langage appelé "Apple GPT" et développerait des outils d'IA générative pour concurrencer OpenAI, ces outils pourraient servir à renforcer Siri à l'avenir

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude

[Jade Emy]

L'IA d'Apple dans iOS 18 sera sur l'appareil et non sur le serveur, ce qui préservera la vie privée, ces fonctions d'IA fonctionneraient sans connexion Internet ni aucune forme de traitement basé sur le cloud.

Les efforts d'Apple en matière d'IA dans iOS 18 incluront des éléments sur l'appareil pour aider à préserver la vie privée.

iOS 18 est en cours d'élaboration et, selon les rumeurs, il comportera des fonctions d'intelligence artificielle axées sur la protection de la vie privée, dont le traitement sera effectué directement sur l'iPhone, sans connexion à des services basés dans le cloud.

Selon Mark Gurman, de Bloomberg, dans l'édition dominicale de sa lettre d'information PowerOn, les fonctions liées à l'IA dans iOS 18 "fonctionneront entièrement sur l'appareil". En pratique, ces fonctions d'intelligence artificielle pourraient fonctionner sans connexion internet ni aucune forme de traitement dans le cloud. Un certain nombre de sources anonymes bien informées ont confirmé l'exactitude des affirmations de M. Gurman. Apple travaille actuellement sur un grand modèle de langage, ou LLM, connu en interne sous le nom d'"Ajax".

Si les fonctions les plus avancées nécessiteront à terme une connexion Internet, les fonctions de base d'analyse de texte et de génération de réponses devraient être disponibles hors ligne.

On pense également que des améliorations basées sur l'IA seront apportées à des applications telles que Messages, Safari, Spotlight Search et Siri. Apple teste depuis un certain temps la génération de réponses textuelles sur l'appareil, ce qui signifie que cette fonctionnalité sera probablement l'une des premières à être présentée en avant-première ou à être lancée.

Les fonctions d'IA les plus avancées nécessiteront toujours une connexion internet, et Apple aurait discuté de l'octroi de licences pour la technologie d'IA de Google et d'OpenAI afin de l'utiliser dans iOS 18, plutôt que de développer son propre LLM en ligne.

Les processus sur l'appareil pourraient contribuer à éliminer certaines controverses liées aux outils d'IA côté serveur. Par exemple, ces outils sont connus pour leurs hallucinations, ce qui signifie qu'ils inventent des informations en toute confiance. Le problème des hallucinations n'a fait qu'empirer, car les modèles d'IA se nourrissent du contenu généré par d'autres modèles d'IA.

Apple dévoilera ses projets en matière d'IA lors de la conférence WWDC, qui débutera le 10 juin.

Source : Mark Gurman dans l'édition dominicale de sa lettre d'information PowerOn

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que ces rumeurs sont crédibles ou pertinentes ?

Voir aussi :

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude

Apple envisage de confier les fonctions d'IA de l'iPhone à Gemini, le moteur d'IA de Google pour la création d'images ou la rédaction d'essais à partir d'invites simples

Il est plus difficile que prévu d'empêcher Apple d'accéder à vos données, les applications par défaut collectent des données même lorsqu'elles sont désactivées et il est difficile d'y mettre fin

[Stéphane le calme]

Apple acquiert Datakalab, une start-up française spécialisée dans l'IA embarquée à faible consommation,
préparant l'intégration d'une série de fonctions d'IA à iOS 18 qui tourneront directement sur l'appareil

Dans un mouvement stratégique visant à renforcer ses capacités en intelligence artificielle (IA) et en vision par ordinateur, Apple a récemment acquis Datakalab, une start-up basée à Paris. Fondée par Xavier et Lucas Fischer en 2016, Datakalab s’est distinguée par son expertise dans la compression d’algorithmes et les systèmes d’IA embarqués. Avant son acquisition, Datakalab comptait entre 10 et 20 employés et avait collaboré avec le gouvernement français et Disney, entre autres. La technologie développée par la start-up permet d’analyser les émotions humaines par reconnaissance faciale et données visuelles, utilisées notamment pour surveiller les réactions du public en temps réel lors de projections cinématographiques.

Les LLM sont des systèmes d’intelligence artificielle capables de comprendre et de générer du langage naturel à partir de grandes quantités de données textuelles. Des exemples de LLM sont GPT-3 et GPT-4 d’OpenAI, qui peuvent produire des textes cohérents et variés sur n’importe quel sujet, allant des articles de presse aux poèmes en passant par les codes informatiques. Ces modèles sont très puissants, mais aussi très gourmands en mémoire et en ressources de calcul, ce qui pose un défi pour les déployer sur des appareils mobiles comme les iPhone, qui ont une capacité de mémoire limitée.

Pour relever ce défi, les chercheurs d’Apple ont développé une technique innovante qui utilise la mémoire flash - la même mémoire où sont stockées vos applications et vos photos - pour stocker les données du modèle de langage. Cette technique permet de réduire le transfert de données entre la mémoire flash et la mémoire vive (RAM), et d’augmenter le débit de la mémoire flash, ce qui accélère le processus d’inférence du modèle de langage. C'est en tout cas ce qu'a suggéré une étude publiée en décembre.

L'article de recherche est intitulé "LLM in a flash : Efficient Large Language Model Inference with Limited Memory". Les auteurs y notent que la mémoire flash est plus abondante dans les appareils mobiles que la mémoire vive traditionnellement utilisée pour l'exécution des modèles. Ainsi, leur méthode contourne astucieusement cette limitation en utilisant deux techniques clés qui minimisent le transfert de données et maximisent le débit de la mémoire flash :

• le fenêtrage : il s'agit d'une méthode de recyclage. Au lieu de charger de nouvelles données chaque fois, le modèle d'IA réutilise une partie des données qu'il a déjà traitées. Cela réduit la nécessité d'aller constamment chercher des données en mémoire, ce qui rend le processus plus rapide et plus fluide ;
• regroupement lignes-colonnes : cette technique revient à lire un livre par morceaux plutôt qu'un mot à la fois. En regroupant les données plus efficacement, elles peuvent être lues plus rapidement à partir de la mémoire flash, ce qui accélère la capacité de l'IA à comprendre et à générer du langage.

Datakalab s'est spécialisé dans les algorithmes qui fonctionnent entièrement sur l'appareil

Apple adopterait donc une approche différente de l'IA générative. Alors que les fonctions d'IA générative sur les appareils sont actuellement soutenues par de grands modèles de langage côté serveur, Apple souhaite exécuter les LLM sur les appareils. Cela l'aidera à garantir la confidentialité des utilisateurs, puisque les données de ces derniers n'ont pas besoin de quitter les iPhone pour atteindre des serveurs, qui peuvent être partagés.

Toutefois, les modèles sur appareil ne peuvent pas tout faire. Apple doit développer un modèle suffisamment performant tout en étant économe en énergie. Mais cela prendra du temps. Et c'est exactement là que l'acquisition de la startup française Datakalab devient pertinente puisqu'elle le propose depuis 2017.

Datakalab s'est spécialisée dans les algorithmes d'apprentissage profond à faible consommation d'énergie, efficaces en termes d'exécution, respectueux de la vie privée et fonctionnant entièrement sur l'appareil (en embarqué donc). Ses travaux de recherche ont donné lieu à des publications dans les meilleures conférences et journaux du domaine (T-PAMI, NeurIPS, ICCV, CVPR, AAAI).

Au départ, Datakalab a d’abord exploré l'usage de l'IA pour lire les émotions du visage humain. La RATP, la ville de Cannes ou encore des salles de concert ont utilisé cette technologie : il était question ces fois-là de déployer ses outils d'IA afin de vérifier si les gens portaient des masques de protection lors de la pandémie. La startup a signé avec Médiamétrie pour mesurer les émotions des spectateurs au cinéma, ainsi qu'avec Disney pour l'aider à améliorer ses bandes-annonces.

Et les choses se sont plutôt bien passées. Médiamétrie par exemple évoquait des résultats concluants :

En filmant les visages des spectateurs consentants, le niveau d’attention et les pics d’émotions positives sont retranscrits sous forme de courbes. Cette solution matérialise les moments forts vécus par le spectateur.

En mai et juin 2019, Médiamétrie a utilisé ce dispositif pour tester en ligne des bandes-annonces de films de différents genres : comédie française, animation et action. Les visages de 900 individus ont été filmés via la webcam de leur ordinateur, afin d’enregistrer les réactions émotionnelles provoquées au cours du visionnage de la bande-annonce.

Médiamétrie s’est également appuyé sur ce procédé pendant la projection test d’une comédie française dans une salle de cinéma parisienne.

Les émotions ressenties pendant le film par les spectateurs, leur cohérence avec le genre du film sont des informations clés permettant aux professionnels du secteur d’optimiser le montage du film et valider le choix d’une bande-annonce efficace, en affiner la stratégie marketing ou encore les leviers de communication.

Marine Boulanger, directrice du pôle Cinéma et Entertainment de Médiamétrie a déclaré : « Ces données émotionnelles viennent appuyer et détailler les données des spectateurs que nous recueillons dans nos études, pour apporter une réponse encore plus concrète sur l’attractivité et le potentiel d’un film, ou l’efficacité d’une bande-annonce. »

Un rachat qui a eu lieu en décembre

Cette entreprise a été fondée en 2016 par deux frères, Xavier et Lucas Fischer. Selon la Commission européenne, l'accord a été signé en décembre de l'année dernière. La nouvelle n'a été révélée que maintenant via nos confrères Challenges. L'entreprise ne compterait que 10 à 20 employés et plusieurs d'entre eux ont également rejoint la nouvelle équipe d'Apple en Californie. En revanche, les deux fondateurs, Xavier et Lucas Fischer, n'auraient pas rejoint Apple.

D'après les informations glanées sur le site web de Datakalab, aujourd'hui disparu, l'activité principale de l'entreprise tournait autour du développement d'algorithmes sophistiqués d'analyse d'images par ordinateur, conçus pour mesurer les flux dans les espaces publics. Grâce à la transformation rapide des images en données statistiques anonymes traitées localement en l'espace de 100 millisecondes, Datakalab a adhéré fermement aux principes de la protection de la vie privée, en veillant à ce que seules les données statistiques soient conservées et en évitant tout stockage d'images ou d'informations personnelles.

L'ambition d'Apple de faire fonctionner des modèles d'IA sur les iPhone a déjà suscité des critiques

Plusieurs analystes estiment qu'Apple est à la traîne par rapport à ses rivaux, bien qu'il ait embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que Microsoft et Google se sont largement concentrés sur la fourniture de chatbots et d'autres services d'IA générative sur Internet à partir de leurs vastes plateformes de cloud, les recherches d'Apple suggèrent qu'elle se concentrera plutôt sur une IA qui peut fonctionner directement sur un iPhone. Une initiative qui peut faire une grande différence. Certains rivaux d'Apple, tels que Samsung, se prépareraient à lancer un nouveau type de smartphone IA cette année.

Counterpoint Research s'attend à ce que plus de 100 millions de smartphones axés sur l'IA soient livrés en 2024, et que 40 % des nouveaux appareils offrent de telles capacités d'ici à 2027. De son côté, Cristiano Amon, PDG de Qualcomm, le plus grand fabricant de puces mobiles au monde, note que l'introduction de l'IA dans les smartphones créerait de nouvelles expériences pour les consommateurs et inverserait la tendance baissière des ventes de téléphones portables. « Vous verrez des appareils lancés au début de 2024 avec un certain nombre de cas d'utilisation de l'IA générative », a déclaré Amon lors d'une récente interview.

Quoiqu'il en soit, l'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhone est confrontée à des limites matérielles évidentes. Les capacités de calcul et de mémoire des smartphones sont notoirement restreintes par rapport aux serveurs sur le cloud. Certains estimaient alors que cette démarche risque de sacrifier la performance globale des iPhone au profit de fonctionnalités d'IA locales, compromettant ainsi l'expérience utilisateur.

D'ailleurs, les critiques n'ont pas manqué d'indiquer qu'Apple dépend trop des acquisitions pour stimuler l'innovation. Plutôt que de développer en interne, la société a tendance à acquérir des startups technologiques, soulevant des questions sur sa capacité à innover de manière autonome. Il faut dire qu'en janvier 2024 la société californienne avait déjà fait l'acquisition de 21 startups spécialisées dans l'IA depuis 2017, mettant l'accent sur la résolution des défis technologiques liés à l'utilisation de l'IA sur les appareils mobiles, notamment les iPhone.

Conclusion

Cette acquisition intervient alors qu'Apple devrait intégrer une série de fonctions d'intelligence artificielle à iOS 18 dans le courant de l'année. Datakalab a également développé une technologie avancée basée sur la vision, qui pourrait jouer un rôle dans les ambitions Vision Pro d'Apple à l'avenir. La technologie de reconnaissance faciale avancée de l'entreprise pourrait également contribuer à des éléments tels que Photos et Face ID.

Sources : Challenges, Médiamétrie

Et vous ?

Quel impact pensez-vous que l’acquisition de Datakalab aura sur la confidentialité des utilisateurs d’Apple, étant donné l’expertise de la start-up dans l’analyse des émotions par reconnaissance faciale ?
Comment Apple pourrait-il intégrer la technologie de vision par ordinateur de Datakalab dans ses produits existants pour améliorer l’expérience utilisateur ?
La stratégie d’Apple de fonctionner entièrement sur l’appareil avec son LLM est-elle, selon vous, une réponse suffisante aux préoccupations concernant la sécurité des données par rapport aux services basés sur le cloud ?
En quoi la compression des algorithmes d’IA pourrait-elle changer la manière dont nous utilisons nos appareils mobiles au quotidien ?
Quelles innovations espérez-vous voir émerger d’Apple suite à cette acquisition, notamment en termes d’IA et de vision par ordinateur ?

[Stéphane le calme]

Apple lance OpenELM : de petits modèles d'IA open source conçus pour fonctionner directement sur l'appareil,
et effectuer efficacement des tâches de génération de texte

Alors que Google, Samsung et Microsoft poursuivent leurs efforts en matière d'IA générative sur les PC et les appareils mobiles, Apple se joint à la fête avec OpenELM, une nouvelle famille de grands modèles de langage (LLM) open source qui peuvent fonctionner entièrement sur un seul appareil plutôt que de devoir se connecter à des serveurs sur le cloud. Publié sur le site de la communauté de code d'IA Hugging Face, OpenELM se compose de petits modèles conçus pour effectuer efficacement des tâches de génération de texte. Ces modèles sont entraînés sur des ensembles de données accessibles au public à l'aide de la bibliothèque CoreNet. Les données d'entraînement comprennent une variété de sources, totalisant environ 1,8 billion (1 billion étant 1 000 milliards) de jetons.

Le moins que l'on puisse dire, c'est que l'avancée d'Apple en matière d'IA a été lente, surtout si on la compare aux développements rapides qui ont lieu chez ses concurrents, à savoir Microsoft et Google. Alors que Samsung, Google et même Nothing proposent une pléthore de fonctions d'IA sur leurs appareils respectifs, les iPhones sont restés à l'écart, Apple devant rattraper son retard dans la course à l'IA. Toutefois, Apple s'efforce activement de progresser et a récemment discuté avec des sociétés comme Google et OpenAI d'un éventuel accord qui permettrait d'utiliser leurs modèles d'IA sur les iPhones, mais cet accord est encore en cours d'élaboration.

Apple publie quatre modèles d'IA en code source libre

Il y a huit modèles OpenELM au total - quatre pré-entraînés et quatre adaptés aux instructions - couvrant différentes tailles de paramètres entre 270 millions et 3 milliards de paramètres (se référant aux connexions entre les neurones artificiels dans un LLM, et plus de paramètres dénotent généralement une plus grande performance et plus de capacités, bien que ce ne soit pas toujours le cas).

Si le préapprentissage permet à un LLM de produire un texte cohérent et potentiellement utile, il s'agit principalement d'un exercice prédictif, tandis que le réglage des instructions permet d'obtenir des résultats plus pertinents en réponse à des demandes spécifiques d'un utilisateur. Le préapprentissage peut avoir pour conséquence qu'un modèle essaie simplement de compléter l'invite avec du texte supplémentaire, par exemple en répondant à l'invite de l'utilisateur « apprenez-moi à faire du pain » avec le texte « dans un four domestique » plutôt qu'avec de véritables instructions étape par étape, ce qui serait plus facile à réaliser grâce au réglage des instructions.

Selon l'article publié sur HuggingFace, la famille de modèles d'IA est connue sous le nom de « Open-source Efficient Language Models » ou OpenELM. Ces modèles ont été conçus pour effectuer efficacement de petites tâches, telles que la rédaction d'e-mails. Apple indique qu'OpenELM a été entraîné sur des ensembles de données accessibles au public à l'aide de la bibliothèque CoreNet, qui comprend RefinedWeb, PILE dédupliqué, un sous-ensemble de RedPajama et un sous-ensemble de Dolma v1.6, soit un total d'environ 1,8 trillion (1 billion étant 1 000 milliards) de tokens. Il a été publié avec quatre paramètres : 70 millions, 450 millions, 1,1 milliard et 3 milliards.

Les paramètres, qui sont des mesures cruciales dans les modèles d'IA, déterminent l'étendue des variables dont le modèle peut tirer des enseignements au cours des processus de prise de décision. La publication d'OpenELM par Apple vise à contribuer à la communauté de la recherche ouverte en donnant accès à des modèles de langage de pointe et en encourageant l'innovation et la collaboration dans la recherche sur l'IA. L'incursion d'Apple dans l'IA ne se limite pas à la publication d'OpenELM. L'entreprise explore activement les applications de l'IA, comme en témoigne le développement de frameworks tels que MLX pour optimiser les performances de l'IA sur les appareils alimentés au silicium d'Apple.

Ce qu'il faut retenir des caractéristiques d’OpenELM :

• Différentes tailles de paramètres : la famille OpenELM comprend huit modèles au total, répartis en quatre pré-entraînés et quatre ajustés aux instructions. Ils couvrent différentes tailles de paramètres, allant de 270 millions à 3 milliards de paramètres. Plus de paramètres ne signifient pas toujours de meilleures performances, mais dans ce cas, OpenELM parvient à offrir une précision accrue.
• Technique de mise à l’échelle par couche : OpenELM utilise une technique appelée mise à l’échelle par couche pour allouer les paramètres de manière plus efficace dans le modèle de transformation. Contrairement à un modèle où chaque couche possède le même ensemble de paramètres, les couches du transformateur d’OpenELM ont des configurations et des paramètres différents. Le résultat est une meilleure précision, comme le montrent les tests de référence.
• Entraînement sur des ensembles de données variés : OpenELM a été pré-entraîné à l’aide du jeu de données RedPajama provenant de GitHub, ainsi que d’une multitude de livres, d’articles Wikipedia, de publications StackExchange et d’articles ArXiv. Le modèle a également utilisé le jeu de données Dolma provenant de Reddit, Wikibooks et Project Gutenberg.

Une performance respectable, mais pas à la pointe de la technologie

En termes de performances, les résultats d'OpenLLM communiqués par Apple montrent que les modèles sont assez performants, en particulier la variante d'instruction à 450 millions de paramètres.

En outre, la variante OpenELM de 1,1 milliard de paramètres « surpasse OLMo, qui a 1,2 milliard de paramètres, de 2,36 % tout en nécessitant 2 fois moins de jetons de pré-entraînement ». OLMo est le modèle de langage de grande taille de l'Allen Institute for AI (AI2), récemment publié en tant que « modèle de langage de grande taille à code source ouvert ».

Sur le benchmark ARC-C, conçu pour tester les connaissances et les capacités de raisonnement, la variante pré-entraînée d'OpenELM-3B a obtenu une précision de 42,24 %. En revanche, sur MMLU et HellaSwag, elle a obtenu respectivement 26,76 % et 73,28 %.

Un utilisateur qui a commencé à tester la famille de modèles a fait remarquer qu'il s'agissait d'un « modèle solide mais très aligné », ce qui signifie que ses réponses ne sont pas très créatives et qu'elles ne risquent pas de s'aventurer en territoire NSFW. Pour mémoire, NSFW (sigle de l'anglais not safe for work) est un tag utilisé dans les espaces de discussion publics, tels que les forums, les blogues ou les médias sociaux pour identifier les liens pointant vers du contenu (texte, image, vidéo, son) potentiellement choquant, afin de prévenir les internautes qu'ils pourraient ne pas vouloir le consulter s'ils se trouvent dans un environnement inapproprié. Il peut s'agir de la nudité, de la pornographie, de la violence, du gore, des grossièretés, des discours de haine ou toute autre idéologie extrémiste.

La Phi-3 Mini de Microsoft, récemment introduite et dotée de 3,8 milliards de paramètres et d'une longueur de contexte de 4k, est actuellement en tête dans ce domaine.

Selon des statistiques récemment partagées, il a obtenu un score de 84,9 % sur le test ARC-C à 10 essais, de 68,8 % sur le test MMLU à 5 essais et de 76,7 % sur le test HellaSwag à 5 essais.

Il sera intéressant de voir comment la communauté, qui est déjà enthousiasmée par la démarche open-source d'Apple, la mettra en œuvre dans différentes applications.

La poussée d'Apple en matière d'IA

Le fabricant de l'iPhone expérimente l'IA depuis un certain temps déjà. L'année dernière, il a lancé un framework d'apprentissage automatique appelé MLX qui permet aux modèles d'IA de mieux fonctionner sur ses appareils alimentés par Apple Silicon. Il a également lancé un outil d'édition d'images appelé MLLM-Guided Image Editing (MGIE).

Le mois dernier, il a été révélé que les chercheurs d'Apple avaient fait une percée en matière d'entraînement des modèles d'IA sur du texte et des images. Un article de recherche sur ce sujet a été publié le 14 mars. Intitulé « MM1 : Methods, Analysis & Insights from Multimodal LLM Pre-training", il démontre comment l'utilisation de plusieurs architectures pour les données et les modèles d'entraînement peut permettre d'obtenir des résultats de pointe sur plusieurs points de référence.

Apple travaillerait également sur son propre modèle de grand langage (LLM), au cœur duquel se trouve un nouveau framework connu sous le nom d'Ajax, qui pourrait donner naissance à une application de type ChatGPT, surnommée « AppleGPT ». La collaboration entre les différents départements d'Apple, tels que l'ingénierie logicielle, l'apprentissage automatique et l'ingénierie du cloud, serait en cours pour faire de ce projet LLM une réalité.

La publication de la famille de modèles d'IA OpenELM brosse certainement un tableau intriguant du développement de l'IA chez Apple. Toutefois, étant donné qu'aucun modèle fondamental n'a encore été publié, il faudra attendre un certain temps avant que les appareils Apple, tels que l'iPhone et le Mac, puissent enfin en tirer parti.

Si la publication des modèles OpenELM est le signe d'une évolution prometteuse dans le paysage de l'IA d'Apple, la pleine réalisation des capacités d'IA sur des appareils tels que l'iPhone et le Mac pourrait nécessiter un travail de fond supplémentaire. Néanmoins, les efforts continus d'Apple soulignent son engagement à faire progresser la technologie de l'IA et à améliorer les expériences des utilisateurs dans l'ensemble de son écosystème.

Sources : OpenELM Instruct Models, OpenELM:An Efficient Language Model Family with Open-source Training and Inference Framework, quatre modèles OpenELM pré-entraînés, quatre modèles adaptés aux instructions

Et vous ?

Quelle est votre opinion sur l’ouverture d’Apple concernant OpenELM ? Pensez-vous que cela marque un pas significatif pour l’entreprise dans le domaine de l’intelligence artificielle ?
Avez-vous déjà utilisé des modèles d’IA légers sur vos appareils ? Si oui, quels sont vos retours d’expérience ?
Comment voyez-vous l’avenir des modèles d’IA sur les appareils ? Pensez-vous que nous verrons davantage de modèles open source conçus pour fonctionner localement ?
Quelles autres applications aimeriez-vous voir pour des modèles d’IA comme OpenELM ? Y a-t-il des domaines spécifiques où vous pensez que ces modèles pourraient être particulièrement utiles ?

[Jade Emy]

Apple finalise un accord avec OpenAI pour intégrer les fonctionnalités de ChatGPT à iOS 18, et proposer "un chatbot populaire" alimenté par ChatGPT dans le cadre de ses fonctionnalités axées sur l'IA.

D'après un rapport de Bloomberg, Apple finalise un accord avec OpenAI pour intégrer les fonctionnalités de ChatGPT à iOS 18.

ChatGPT est un chatbot développé par OpenAI et lancé le 30 novembre 2022. Basé sur de grands modèles de langage (LLM), il permet aux utilisateurs d'affiner et d'orienter une conversation vers une longueur, un format, un style, un niveau de détail et un langage souhaités. En janvier 2023, il était devenu ce qui était alors l'application logicielle grand public à la croissance la plus rapide de l'histoire, gagnant plus de 100 millions d'utilisateurs.

Selon un nouveau rapport de Bloomberg, Apple est en train de finaliser un accord avec OpenAI pour intégrer certaines de ses technologies à l'iPhone cette année. Apple sera en mesure de proposer "un chatbot populaire" alimenté par ChatGPT dans le cadre de ses fonctionnalités axées sur l'IA dans iOS 18.

Alors qu'Apple est toujours en pourparlers avec Google au sujet d'un partenariat en matière d'IA, le rapport indique qu'Apple "s'est rapproché d'un accord avec OpenAI". "Un accord avec OpenAI permettrait à Apple de proposer un chatbot populaire dans le cadre d'une série de nouvelles fonctionnalités d'IA qu'elle prévoit d'annoncer le mois prochain". Les détails plus spécifiques sur la manière dont ces fonctionnalités et intégrations pourraient fonctionner restent flous pour l'instant.

Mark Gurman de Bloomberg :

Les deux parties ont finalisé les termes d'un pacte visant à utiliser les fonctionnalités de ChatGPT dans iOS 18 d'Apple, le prochain système d'exploitation de l'iPhone, ont déclaré les personnes, qui ont demandé à ne pas être identifiées parce que la situation est privée. Apple a également eu des discussions avec Google, société d'Alphabet Inc. au sujet de l'octroi d'une licence pour le chatbot Gemini de cette société. Ces discussions n'ont pas abouti à un accord, mais sont en cours.

Le rapport précise qu'il n'y a toujours "aucune garantie" qu'un accord entre Apple et OpenAI "sera annoncé de manière imminente". De plus, les fonctions d'IA d'iOS 18 seraient alimentées (en partie) par des centres de données Apple dotés de processeurs Apple Silicon. La majorité des fonctions d'IA d'iOS 18 seront toutefois entièrement intégrées à l'appareil, ce qui permettra à Apple de vanter les avantages en termes de confidentialité et de rapidité.

Apple devrait annoncer iOS 18 et ses nouvelles fonctionnalités d'IA lors de la WWDC, qui débutera par un événement spécial le 10 juin. OpenAI devrait faire une annonce distincte lors d'un événement. Selon un autre rapport, une des fonctionnalités en cours de développement à OpenAI est un assistant vocal d'IA destiné à concurrencer Siri et Google Assistant.

Source : Mark Gurman de Bloomberg

Et vous ?

Pensez-vous que l'accord Apple-OpenAI est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA d'Apple dans iOS 18 sera sur l'appareil et non sur le serveur, ce qui préservera la vie privée. Ces fonctions d'IA fonctionneraient sans connexion Internet ni aucune forme de traitement basé sur le cloud

Apple envisage de confier les fonctions d'IA de l'iPhone à Gemini, le moteur d'IA de Google, pour la création d'images ou la rédaction d'essais à partir d'invites simples

ChatGPT pourrait alimenter le chatbot IA de l'iPhone : Apple aurait repris les négociations avec OpenAI pour intégrer des fonctions d'IA générative dans iOS, Apple serait aussi en discussion avec Google

[Jade Emy]

Apple signe un accord avec OpenAI pour intégrer ChatGPT dans iOS 18, tout en conservant Google comme option, l'accord avec OpenAI comportant des risques, Apple s'efforcerait de trouver un accord avec Google

Apple s'est associé à OpenAI pour intégrer la fonctionnalité ChatGPT aux iPhones avec iOS 18. Cette collaboration sera annoncée lors de la WWDC, l'événement annuel d'Apple qui se tiendra du 10 au 14 juin, et donnera à Apple un avantage sur les appareils Samsung utilisant Gemini.

OpenAI est une organisation américaine qui effectue des recherches sur l'intelligence artificielle dans le but de développer une intelligence générale artificielle " sûre et bénéfique ", qu'elle définit comme " des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement utiles ". Sa publication de ChatGPT a été créditée d'avoir démarré le boom de l'IA.

Apple annonce avoir signé un accord avec OpenAI pour fournir la fonctionnalité ChatGPT sur les iPhones avec iOS 18. La société de Cupertino aurait été en pourparlers avec Google et OpenAI de Sam Altman pour intégrer un chatbot dans iOS 18. Mais Apple a "finalement conclu l'accord" avec OpenAI, affirme Mark Gurman de Bloomberg.

Le partenariat, dit-il, sera un élément de l'annonce de la WWDC. Pour ceux qui l'ignorent, Apple organisera sa Worldwide Developers Conference (WWDC) annuelle du 10 au 14 juin de cette année. "D'un côté, Apple reconnaît qu'elle ne peut pas rivaliser dans le domaine le plus brûlant de l'IA. Mais son accord avec OpenAI lui donne le chatbot le plus avancé - et un avantage potentiel sur les appareils Samsung, puisqu'ils utilisent Gemini", ajoute M. Gurman.

M. Gurman indique qu'Apple ne peut pas compter sur OpenAI en tant que fournisseur unique pour l'une des principales nouvelles fonctionnalités d'iOS. L'accord avec OpenAI comporte des "risques", car OpenAI est de plus en plus controversée dans le monde de l'IA : Scarlett Johansson, entre autres. M. Gurman ajoute que la structure de l'entreprise OpenAI est précaire, son PDG ayant été brièvement évincé l'année dernière, ce qui a provoqué une crise pour les employés et son principal bailleur de fonds, Microsoft.

C'est pourquoi Apple, selon M. Gurman, s'efforce toujours de trouver un accord avec Google pour proposer Gemini en option. Mais il ne faut pas s'attendre à ce qu'il soit présenté en juin, ajoute-t-il. "Si Apple accueille d'autres fabricants de chatbots, cela se fera probablement au cas par cas. Bien que l'entreprise ouvre souvent ses fonctionnalités à tous les développeurs tiers, on s'attend à ce qu'elle fasse preuve de discernement dans ce cas et qu'elle négocie des accords individuels", déclare-t-il.

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Apple finalise un accord avec OpenAI pour intégrer les fonctionnalités de ChatGPT à iOS 18 et proposer "un chatbot populaire" alimenté par ChatGPT dans le cadre de ses fonctionnalités axées sur l'IA

L'IA d'Apple dans iOS 18 sera sur l'appareil et non sur le serveur, ce qui préservera la vie privée, ces fonctions d'IA fonctionneraient sans connexion Internet ni aucune forme de traitement basé sur le cloud

Apple envisage de confier les fonctions d'IA de l'iPhone à Gemini, le moteur d'IA de Google, pour la création d'images ou la rédaction d'essais à partir d'invites simples

[Jules34]

C'est peut-être un épi phénomène autour de moi mais je vois pleins de monde commencer à se fatiguer/s'agacer des iphones.

Moi même j'ai migré sur android cette année.

Marre des mises à jour qui rendent un téléphone aussi utile qu'une brique si on en rachète pas un assez puissant. J'achetais des iphones d'occasion jusque la et systématiquement je le bazarde parce que Ios m'empèche littéralement de l'utiliser : ralentissement, bug d'affichage, verrouillage intempestif, lag abominable sur un téléphone plus puissant que tout les ordis qui sont allés sur Lune...

Je pense que de plus en plus de gens vont décider qu'on s'est assez foutu d'eux.

Jusque la j'aimais bien le principe du compte Icloud : possible de migrer d'un iphone à l'autre TOUTE ses données comme si on avait le même téléphone.

Cet avantage ne suffit plus à contrebalancer le fait qu'ils se foutent de leurs utilisateurs.

D'ailleurs j'ai jamais supporté les changements de taille qui en ont fait une sorte de tablette pour fashionistas :
2G/3G/3GS/4/4S : 3,5 pouces. (les meilleures générations, j'ai eu la chance de tous les avoirs)
5/5s/5c/SE1 : 4 pouces. -> commence à faire mal aux mains
6/6s/7/8/SE2/SE3 : 4,7 pouces.
6Plus/6S Plus/7 Plus/8 Plus: 5,5 pouces.
X/XS/11 Pro : 5,8 pouces.
XR/11 : 6,1 pouces. -> la c'est de la torture à l'utilisation

du coup je pense pas qu'en empilant CHATGPT la dessus ça suffira a vendre des Iphone qui valent le prix de mon Kangoo d'occasion (qui cela dit m'emmène en vacance, LUI ).

Et puis bon est ce qu'il faut faire une requête ChatGPT qui consomme plus d'énergie qu'une transaction en bitcoin pour connaitre la recette de la tarte au pomme ? C'est une aberration.

Après j'ai l'impression que les gens achètent ce dont ils ont le moins besoin tant que dans leur tête ça donne du "crédit social".

[Aesir]

C'est peut-être un épi phénomène autour de moi mais je vois pleins de monde commencer à se fatiguer/s'agacer des iphones.

Moi même j'ai migré sur android cette année.

Marre des mises à jour qui rendent un téléphone aussi utile qu'une brique si on en rachète pas un assez puissant. J'achetais des iphones d'occasion jusque la et systématiquement je le bazarde parce que Ios m'empèche littéralement de l'utiliser : ralentissement, bug d'affichage, verrouillage intempestif, lag abominable sur un téléphone plus puissant que tout les ordis qui sont allés sur Lune...

Je pense que de plus en plus de gens vont décider qu'on s'est assez foutu d'eux.

Jusque la j'aimais bien le principe du compte Icloud : possible de migrer d'un iphone à l'autre TOUTE ses données comme si on avait le même téléphone.

Cet avantage ne suffit plus à contrebalancer le fait qu'ils se foutent de leurs utilisateurs.

D'ailleurs j'ai jamais supporté les changements de taille qui en ont fait une sorte de tablette pour fashionistas :
2G/3G/3GS/4/4S : 3,5 pouces. (les meilleures générations, j'ai eu la chance de tous les avoirs)
5/5s/5c/SE1 : 4 pouces. -> commence à faire mal aux mains
6/6s/7/8/SE2/SE3 : 4,7 pouces.
6Plus/6S Plus/7 Plus/8 Plus: 5,5 pouces.
X/XS/11 Pro : 5,8 pouces.
XR/11 : 6,1 pouces. -> la c'est de la torture à l'utilisation

du coup je pense pas qu'en empilant CHATGPT la dessus ça suffira a vendre des Iphone qui valent le prix de mon Kangoo d'occasion (qui cela dit m'emmène en vacance, LUI ).

Et puis bon est ce qu'il faut faire une requête ChatGPT qui consomme plus d'énergie qu'une transaction en bitcoin pour connaitre la recette de la tarte au pomme ? C'est une aberration.

Après j'ai l'impression que les gens achètent ce dont ils ont le moins besoin tant que dans leur tête ça donne du "crédit social".

Rarement vu un tel commentaire entremêlant boomer + "j'ai vu ça dans mon entourage donc c'est global"

[Jules34]

Rarement vu un tel commentaire entremêlant boomer + "j'ai vu ça dans mon entourage donc c'est global"

Rarement vu un freluquet venir démontrer qu'il n'a aucun niveau pour discuter et aucuns argument à part le sempiternel "ouin le boomer" il aime pas Apple pis c'est même pas des voleurs puisqu'ils en vendent pleins, "y'a que la masse qui à raison lol". Je DIS EN DEBUT DE COMMENTAIRE que je le constate autour de moi et que c'est un épi phénomène...

Votre génération puisque vous aimez tant raisonner en générations (comme si ça avait un sens, j'ai 33 ans ) va bien se faire pigeonner dans les grandes largeur par des gens plus âgés que vous qui ont bien compris comment vous faire gober tout et n'importe quoi en vous le présentant comme de l'innovation inéluctable. Et vous applaudirez

Je passe sur la vulgarité et la bassesse de votre commentaire, surtout ne prenez pas la peine de répondre à ce que je dis dans le fond.

Allez je vous laisse demander à ChatGPT d'écrire des messages à votre grand mère et vous expliquer le code que vous devriez connaitre vu que vous avez l'air en avance dans le turfu, il y a peut-être déjà l'IA dans vos basket, c'est surement génial et super utile.

[Anthony]

Les plans d'Apple en matière d'IA impliquent une "boîte noire" pour les données du cloud de l'iPhone iOS 18, car il existe un risque que les données téléchargées soient mal utilisées ou exposées par des pirates

Les efforts d'Apple en matière d'IA pourraient porter leurs fruits lors de ses annonces à la Conférence Worldwide Developers (WWDC), mais l'entreprise tient également à protéger les données des utilisateurs dans le même temps. Voici comment cela devrait se dérouler.

Apple Inc. (anciennement Apple Computer, Inc.) est une multinationale américaine et une entreprise technologique dont le siège se trouve à Cupertino, en Californie, dans la Silicon Valley. Elle conçoit, développe et vend des produits électroniques grand public, des logiciels informatiques et des services en ligne. Les appareils comprennent l'iPhone, l'iPad, le Mac, l'Apple Watch, la Vision Pro et l'Apple TV ; les systèmes d'exploitation comprennent iOS, iPadOS et macOS ; et les applications et services logiciels comprennent iTunes, iCloud, Apple Music et Apple TV+.

On s'attend à ce qu'Apple fasse de grands progrès en matière d'intelligence artificielle lors de la conférence WWDC. Les changements devraient inclure de grandes choses dans iOS 18 et ses autres systèmes d'exploitation, avec des modifications de fonctionnalités d'applications telles que la transcription audio apparemment en cours. Cependant, la protection de la vie privée étant un principe fondamental du travail d'Apple, l'entreprise fait ce qu'elle peut pour protéger ses utilisateurs.

Selon des sources de The Information, Apple a l'intention de traiter les données des applications d'intelligence artificielle à l'intérieur d'une boîte noire virtuelle. Le concept, connu sous le nom de « Apple Chips in Data Centers » (ACDC) en interne, impliquerait que seul le matériel d'Apple soit utilisé pour effectuer le traitement de l'IA dans le cloud.

L'idée est de contrôler à la fois le matériel et les logiciels de ses serveurs, ce qui lui permettra de concevoir des systèmes plus sûrs. Alors que le traitement de l'IA sur appareil est hautement privé, l'initiative pourrait faire en sorte que le traitement dans le cloud pour les clients d'Apple soit sécurisé de la même manière.

Le traitement sur l'appareil est intrinsèquement privé, du fait qu'il ne transfère pas les données vers le cloud. Le problème est qu'il peut être beaucoup plus lent que le traitement dans le cloud. Cependant, le traitement dans le cloud peut être beaucoup plus puissant, même s'il faut faire un compromis en matière de protection de la vie privée. C'est ce dernier élément qu'Apple tente d'éviter.

Éviter l'usage et l'abus

Une partie du problème réside dans la possibilité que les données téléchargées soient utilisées à mauvais escient ou exposées par des pirates informatiques. En s'appuyant sur des serveurs cloud, les services d'IA présentent effectivement un risque de voir les données des utilisateurs s'échapper.

En prenant le contrôle de la façon dont les données sont traitées dans le cloud, il serait plus facile pour Apple de mettre en œuvre des processus pour rendre une violation beaucoup plus difficile à se produire réellement.

En outre, l'approche de la boîte noire empêcherait Apple elle-même de voir les données. En conséquence, cela signifie qu'il serait également difficile pour Apple de communiquer des données à caractère personnel en cas de demandes de données émanant de gouvernements ou d'autorités chargées de l'application de la loi.

Son initiative ACDC peut être encore plus bénéfique pour Apple en termes de conception de futurs appareils. En déchargeant les fonctions d'IA dans le cloud, Apple pourrait réduire les exigences matérielles de ses futurs produits, en fabriquant des wearables et d'autres appareils plus légers.

Secure Enclaves

La Secure Enclave (enclaves sécurisées) est au cœur de l'initiative ACDC, qui a été présentée en détail au début du mois de mai. Utilisée sur l'iPhone pour stocker les données biométriques, la Secure Enclave est un élément protégé qui contient des données telles que les mots de passe et les clés de chiffrement, empêchant les pirates d'accéder aux données sensibles s'ils compromettent l'iOS ou le matériel.

Selon le plan, la Secure Enclave serait utilisée pour isoler les données traitées sur les serveurs, ont déclaré d'anciens employés d'Apple. Cela signifie que les données ne peuvent pas être vues par d'autres éléments du système, ni par Apple elle-même.

Source : The Information

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous cette initiative d'Apple crédible ou pertinente ?

Voir aussi :

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude

L'IA d'Apple dans iOS 18 sera sur l'appareil et non sur le serveur, ce qui préservera la vie privée, ces fonctions d'IA fonctionneraient sans connexion Internet ni aucune forme de traitement basé sur le cloud

[Stéphane le calme]

WWDC 2024 : Apple dévoile « Apple Intelligence », une suite de fonctionnalités IA pour Siri, iOS et macOS
ChatGPT est intégré dans les OS d'Apple et est traité comme un moteur de recherche par Siri

Apple a franchi une étape significative avec le lancement d’Apple Intelligence, en partenariat avec OpenAI. Cette nouvelle initiative marque un tournant pour les appareils Apple, de l’iPhone au Mac, en intégrant des modèles génératifs d’IA au cœur de leur système pour optimiser l’expérience utilisateur. Apple a annoncé « Apple Intelligence » lors de la WWDC 2024, son nom pour une nouvelle suite de fonctionnalités d'IA pour l'iPhone, le Mac, et plus encore. À partir de la fin de l'année, Apple déploie ce qu'elle appelle un Siri plus conversationnel, des « Genmoji » personnalisés générés par l'IA et l'accès GPT-4o qui permet à Siri de se tourner vers le chatbot d'OpenAI lorsqu'il ne peut pas gérer ce que vous lui demandez.

Lundi, Apple a présenté « Apple Intelligence », une nouvelle suite de fonctionnalités gratuites alimentées par l'IA pour iOS 18, iPadOS 18, macOS Sequoia qui comprend la création de résumés d'emails, la génération d'images et d'emoji, et permet à Siri de prendre des mesures en votre nom. Ces fonctionnalités sont obtenues par une combinaison de traitement sur l'appareil et dans le cloud, en mettant fortement l'accent sur la confidentialité. Apple indique que les fonctionnalités d'Apple Intelligence seront largement disponibles dans le courant de l'année et qu'elles feront l'objet d'un test bêta pour les développeurs cet été.

Les annonces ont été faites lors d'une conférence de presse en direct de la WWDC et d'un événement simultané auquel la presse a assisté sur le campus d'Apple à Cupertino, en Californie. Dans son introduction, Tim Cook, PDG d'Apple, a déclaré que l'entreprise utilisait l'apprentissage automatique depuis des années, mais que l'introduction de grands modèles de langage (LLM) offrait de nouvelles possibilités d'améliorer les capacités des produits Apple. Elle a insisté sur le besoin de personnalisation et de respect de la vie privée dans l'approche d'Apple.

Lors de la WWDC de l'année dernière, Apple a évité d'utiliser le terme « IA », lui préférant des termes tels que « apprentissage automatique », afin d'éviter le battage médiatique tout en intégrant les applications de l'IA dans les applications de manière utile. Cette année, Apple a trouvé un nouveau moyen d'éviter le sigle « IA » en inventant « Apple Intelligence », un terme de marque fourre-tout qui fait référence à un large groupe de technologies d'apprentissage automatique, de LLM et de génération d'images.

« Nous sommes ravis d'ouvrir un nouveau chapitre de l'innovation Apple. Apple Intelligence va transformer ce que les utilisateurs peuvent faire avec nos produits - et ce que nos produits peuvent faire pour nos utilisateurs », a déclaré Tim Cook, PDG d'Apple. « Notre approche unique associe l'IA générative au contexte personnel de l'utilisateur pour fournir des informations réellement utiles. Et elle peut accéder à ces informations de manière totalement privée et sécurisée pour aider les utilisateurs à faire les choses qui comptent le plus pour eux. C'est l'IA telle que seule Apple peut l'offrir, et nous sommes impatients que les utilisateurs découvrent ce qu'elle peut faire ».

Siri se dote d'une intelligence artificielle

Apple précise que ses fonctions d'IA permettront d'effectuer des actions entre les applications, de gérer les notifications, d'écrire automatiquement à votre place et de résumer du texte dans le courrier électronique et dans d'autres applications. Comme pour les autres outils d'écriture IA intégrés, vous pouvez changer le ton de ce que vous écrivez à l'aide d'une invite. L'entreprise indique également que ses fonctions d'IA peuvent faire référence à une application pour exécuter une action dans une autre, par exemple en lui demandant de lire un podcast que votre partenaire vous a envoyé.

Lorsque vous invoquez Siri, Apple affirme qu'il est « conscient de ce qui se passe à l'écran », ce qui signifie qu'il peut comprendre ce que vous demandez et « agir avec le contenu des utilisateurs dans davantage d'applications au fil du temps ». L'entreprise précise que cela fonctionnera aussi bien dans les applications Apple que dans les applications tierces. Et vous pourrez écrire à Siri, et non vous contenter de lui parler.

Bien sûr, comme il s'agit d'Apple, il y a une question de confidentialité. L'entreprise précise que de nombreuses fonctionnalités fonctionneront sur l'appareil, dans la mesure du possible. Mais lorsque vous demanderez quelque chose de plus compliqué, votre appareil (qu'il s'agisse d'un iPhone, d'un Mac ou d'un iPad) passera un appel pour transférer automatiquement la demande vers le cloud.

Apple dit utiliser ce qu'elle appelle le « Private Cloud Compute ». Les modèles qui traitent les demandes plus complexes sont des serveurs « alimentés par Apple Silicon », et la société affirme qu'elle ne stockera jamais vos données sur ses serveurs et qu'elle ne pourra jamais y accéder. De plus, l'entreprise affirme qu'elle laissera des experts indépendants inspecter le code exécuté sur ses serveurs « pour vérifier le respect de la vie privée ».

Si Siri « pense » que ChatGPT peut vous aider à répondre à votre question, une fenêtre d'autorisation s'affichera pour vous demander si vous souhaitez envoyer votre question au chatbot. La réponse sera renvoyée dans une fenêtre indiquant que l'information provient d'une source extérieure. C'est de la même manière que Siri traite un moteur de recherche (à savoir Google). Il sera donc intéressant de voir comment Siri fait la distinction entre ChatGPT et un moteur de recherche. Dans le seul exemple d'Apple, il y avait une intention « d'aide », avec une entrée disant « aidez-moi à planifier un repas de cinq plats » compte tenu de certaines limitations d'ingrédients. Ce type de saisie ultra-spécifique est impossible à réaliser avec un moteur de recherche traditionnel.

Siri peut également envoyer des photos à ChatGPT. Dans l'exemple d'Apple, l'utilisateur a pris une photo d'une terrasse en bois et a demandé à Siri quelles étaient les options de décoration. Il semble que les fonctions de synthèse d'IA générative standard seront également présentes, Craig Federighi, vice-président de l'ingénierie logicielle chez Apple, précisant que « vous pouvez également poser des questions sur vos documents, vos présentations ou vos PDF ».

Fonctions de génération d'images Apple

Apple annonce le déploiement de « Genmoji », une nouvelle fonctionnalité qui générera des réactions de type emoji à la volée, de sorte que lorsque vous ne trouvez pas celle que vous voulez, vous pouvez simplement la faire créer pour vous par l'IA. De même, une nouvelle fonctionnalité de génération d'images, baptisée Image Playground, arrive dans iOS 18. Apple indique que cette fonctionnalité fonctionne dans plusieurs applications, mais qu'elle dispose également de sa propre application du même nom. Elle permettra également aux développeurs d'accéder à une API pour inclure Image Playground sur leurs appareils.

En outre, Apple introduit l'IA dans l'application Photos. Vous pouvez déjà rechercher des objets photographiés dans votre bibliothèque, mais Apple indique qu'elle améliorera le fonctionnement de cette fonction à l'avenir, de sorte que vous puissiez rechercher des choses telles qu'une personne qui fait la roue. Apple a également ajouté des fonctionnalités similaires à la gomme magique de Google, comme la possibilité d'effacer une personne d'une photo.

Des outils d'assistance dans la communication

Apple Intelligence apporte aux utilisateurs de nouveaux moyens d'améliorer leur écriture et de communiquer plus efficacement :

« Grâce aux tout nouveaux outils d'écriture intégrés à iOS 18, iPadOS 18 et macOS Sequoia, les utilisateurs peuvent réécrire, relire et résumer des textes presque partout où ils écrivent, y compris dans Mail, Notes, Pages et les apps tierces.

« Qu'il s'agisse de mettre de l'ordre dans des notes de cours, de s'assurer que la lecture d'un billet de blog est parfaite ou qu'un e-mail est parfaitement rédigé, les outils d'écriture aident les utilisateurs à se sentir plus confiants dans leurs écrits. Avec Rewrite, Apple Intelligence permet aux utilisateurs de choisir parmi différentes versions de ce qu'ils ont écrit, en ajustant le ton en fonction du public et de la tâche à accomplir. Qu'il s'agisse de peaufiner une lettre de motivation ou d'ajouter de l'humour et de la créativité à une invitation à une fête, Rewrite permet de trouver les mots justes pour répondre à l'occasion.

« Proofread vérifie la grammaire, le choix des mots et la structure des phrases tout en suggérant des modifications - accompagnées d'explications - que les utilisateurs peuvent revoir ou accepter rapidement. Avec Summarize, les utilisateurs peuvent sélectionner un texte et le récapituler sous la forme d'un paragraphe digeste, de points clés à puces, d'un tableau ou d'une liste ».

Apple a également repensé Mail, mais l'ajout de fonctions d'IA pour vous fournir des résumés de vos messages ne sera pas forcément quelque chose qui fera l'unanimité (qui aimerait que l'IA lise ses mails ?) :

« avec les messages prioritaires, une nouvelle section en haut de la boîte de réception affiche les messages les plus urgents, comme une invitation à dîner ou une carte d'embarquement. Dans la boîte de réception d'un utilisateur, au lieu de prévisualiser les premières lignes de chaque courriel, il peut voir des résumés sans avoir besoin d'ouvrir un message. Pour les longs fils de discussion, les utilisateurs peuvent afficher les détails pertinents d'un simple toucher. Smart Reply fournit des suggestions pour une réponse rapide et identifie les questions dans un e-mail pour s'assurer que tout est répondu ».

Les avantages de l'accord avec OpenAI

ChatGPT, alimenté par GPT-4o, arrivera sur iOS, macOS et iPadOS « plus tard cette année », en tant que chatbot vers lequel Siri peut se tourner lorsqu'il n'est pas en mesure de faire ce que vous lui demandez. Apple précise qu'il vous demandera votre autorisation avant d'envoyer des questions, des documents ou des photos à ChatGPT et qu'après avoir répondu, Siri vous présentera ses réponses. Apple a déclaré qu'elle commençait par le meilleur chatbot, mais qu'elle prendrait en charge d'autres modèles d'IA par la suite.

L'entreprise précise également que ChatGPT pourra être utilisé dans ses outils d'écriture d'IA à l'échelle du système, qu'il peut être utilisé pour générer des images et qu'il masque les adresses IP. OpenAI ne stockera pas non plus les demandes des utilisateurs, écrit Apple. Enfin, bien qu'il ne soit pas nécessaire de créer un compte ou de payer pour utiliser ChatGPT, Apple indique que les abonnés peuvent connecter leur compte pour utiliser les fonctions payantes dans les intégrations embarquées. OpenAI a publié les mêmes informations sur son site web.

Sources : Apple (1, 2)

Et vous ?

Quelles implications l’intégration d’Apple Intelligence dans les appareils Apple pourrait-elle avoir sur notre vie privée et la sécurité de nos données personnelles ?
Comment Apple Intelligence pourrait-il transformer notre manière de travailler et de communiquer au quotidien ?
En quoi les outils d’écriture intégrés d’Apple Intelligence pourraient-ils influencer le domaine de l’éducation et de la création de contenu ?
Quels sont les avantages et les inconvénients potentiels de l’utilisation d’une IA aussi avancée dans nos appareils personnels ?
Apple Intelligence peut-il réellement comprendre et anticiper nos besoins, ou est-ce simplement une illusion d’intelligence ?
Comment Apple pourrait-il assurer que les capacités d’Apple Intelligence ne soient pas utilisées à des fins malveillantes ?
Quel impact Apple Intelligence pourrait-il avoir sur les développeurs d’applications et l’écosystème global d’Apple ?
Est-ce que l’arrivée d’Apple Intelligence signifie que nous nous dirigeons vers une ère où l’IA sera omniprésente dans tous les aspects de notre vie ?

[Patrick Ruiz]

Apple et OpenAI annoncent un partenariat axé sur une série de fonctionnalités d’IA pour Siri, iOS et macOS
Elon Musk qualifie l’intégration de ChatGPT au niveau de l’OS de violation de sécurité inacceptable

Apple a franchi une étape significative avec le lancement d’Apple Intelligence, en partenariat avec OpenAI. Cette nouvelle initiative marque un tournant pour les appareils Apple, de l’iPhone au Mac, en intégrant des modèles génératifs d’IA au cœur de leur système pour optimiser l’expérience utilisateur. À partir de la fin de l'année, Apple déploie ce qu'elle appelle un Siri plus conversationnel, des « Genmoji » personnalisés générés par l'IA et l'accès GPT-4o qui permet à Siri de se tourner vers le chatbot d'OpenAI lorsqu'il ne peut pas gérer ce que lui demande l’utilisateur. Elon Musk qualifie cette intégration de ChatGPT au niveau de l’OS de violation de sécurité inacceptable.

We’re partnering with Apple to integrate ChatGPT into iOS, iPadOS, and macOS—coming later this year: https://t.co/HP77fVO6gA

— OpenAI (@OpenAI) June 10, 2024

L’intégralité de la communication d’Apple

Apple intègre ChatGPT dans des expériences au sein d'iOS, d'iPadOS et de macOS, ce qui permet aux utilisateurs d'accéder aux fonctionnalités de ChatGPT - notamment la compréhension des images et des documents - sans avoir à passer d'un outil à l'autre.

Siri peut en sus exploiter l'intelligence de ChatGPT lorsque cela s'avère utile. Les utilisateurs d'Apple sont interrogés avant que les questions ne soient envoyées à ChatGPT, accompagnées de documents ou de photos, et Siri leur présente alors directement la réponse.

En outre, ChatGPT sera disponible dans les outils d'écriture d'Apple, afin d'aider les utilisateurs à générer du contenu pour n'importe quel sujet d'écriture. Les utilisateurs peuvent également utiliser les outils d'image de ChatGPT pour générer des images dans une grande variété de styles afin de compléter ce qu'ils écrivent.

Des protections de la vie privée sont intégrées lors de l'accès à ChatGPT dans Siri et les outils d'écriture - les demandes ne sont pas stockées par OpenAI et les adresses IP des utilisateurs sont masquées. Les utilisateurs peuvent également choisir de connecter leur compte ChatGPT, ce qui signifie que leurs préférences en matière de données s'appliqueront dans le cadre des politiques de ChatGPT.

L'intégration de ChatGPT, alimentée par GPT-4o, arrivera sur iOS, iPadOS et macOS plus tard cette année. Les utilisateurs peuvent y accéder gratuitement sans créer de compte, et les abonnés de ChatGPT peuvent connecter leurs comptes et accéder à des fonctionnalités payantes directement à partir de ces expériences.

Les avantages de l'accord avec OpenAI selon OpenAI

ChatGPT, alimenté par GPT-4o, arrivera sur iOS, macOS et iPadOS « plus tard cette année », en tant que chatbot vers lequel Siri peut se tourner lorsqu'il n'est pas en mesure de faire ce que vous lui demandez. Apple précise qu'il vous demandera votre autorisation avant d'envoyer des questions, des documents ou des photos à ChatGPT et qu'après avoir répondu, Siri vous présentera ses réponses. Apple a déclaré qu'elle commençait par le meilleur chatbot, mais qu'elle prendrait en charge d'autres modèles d'IA par la suite.

L'entreprise précise également que ChatGPT pourra être utilisé dans ses outils d'écriture d'IA à l'échelle du système, qu'il peut être utilisé pour générer des images et qu'il masque les adresses IP. OpenAI ne stockera pas non plus les demandes des utilisateurs, écrit Apple.

Enfin, bien qu'il ne soit pas nécessaire de créer un compte ou de payer pour utiliser ChatGPT, Apple indique que les abonnés peuvent connecter leur compte pour utiliser les fonctions payantes dans les intégrations embarquées. OpenAI a publié les mêmes informations sur son site web.

Elon Musk lance l’alerte sur ce qu’il estime être l’inconvénient de ce partenariat

Elon Musk déclare à propos de ce partenariat : « Si Apple intègre OpenAI au niveau du système d'exploitation, les appareils Apple seront interdits dans mes entreprises » et qualifie cette intégration de « violation inacceptable de la sécurité ».

If Apple integrates OpenAI at the OS level, then Apple devices will be banned at my companies. That is an unacceptable security violation.

— Elon Musk (@elonmusk) June 10, 2024

Il y a en effet des risques considérables que ce qui se passe sur un iPhone ne reste pas sur ce dernier contrairement au slogan d’Apple : « Ce qui se passe sur un iPhone reste dans votre iPhone. »

Et vous ?

Quelles implications l’intégration d’Apple Intelligence dans les appareils Apple pourrait-elle avoir sur notre vie privée et la sécurité de nos données personnelles ?
Comment Apple Intelligence pourrait-il transformer notre manière de travailler et de communiquer au quotidien ?
En quoi les outils d’écriture intégrés d’Apple Intelligence pourraient-ils influencer le domaine de l’éducation et de la création de contenu ?
Quels sont les avantages et les inconvénients potentiels de l’utilisation d’une IA aussi avancée dans nos appareils personnels ?
Apple Intelligence peut-il réellement comprendre et anticiper nos besoins, ou est-ce simplement une illusion d’intelligence ?
Comment Apple pourrait-il assurer que les capacités d’Apple Intelligence ne soient pas utilisées à des fins malveillantes ?
Quel impact Apple Intelligence pourrait-il avoir sur les développeurs d’applications et l’écosystème global d’Apple ?
Est-ce que l’arrivée d’Apple Intelligence signifie que nous nous dirigeons vers une ère où l’IA sera omniprésente dans tous les aspects de notre vie ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur

[phil995511]

"Elon Musk qualifie lintégration de ChatGPT au niveau de l'OS de violation de sécurité inacceptable"

Tiens pour une fois je suis en accord avec lui, ces pseudo AI n'ont rien à faire sur mes machines.

Je suis le seul à administrer les OS que j'utilise et je ne veux en aucun cas qu'une pseudo AI fasse je ne sais pas quoi comme bêtises dans mon dos !!!

[jpdeniel]

Le big boss de Apple a longtemps continuer sur la stratégie lancée par Steve Jobs mais maintenant qu'il se retrouve confronté à des innovations qui n'était pas encore au goût du jour de l'air de si, on voit son manque de clairvoyance. Il ferait bien de passer la main.

[Stéphane le calme]

Apple et OpenAI ont actuellement le partenariat le plus incompris dans le domaine de la technologie,
Elon Musk attaque l'intégration Apple/ChatGPT en la qualifiant de « logiciel espion effrayant »

Apple et OpenAI, ont annoncé une collaboration qui a suscité à la fois admiration et controverse. Cette alliance vise à intégrer les capacités de ChatGPT, développé par OpenAI, dans les expériences Apple sur iOS, iPadOS et macOS. L’intégration de ChatGPT promet d’enrichir les fonctionnalités de Siri et des outils d’écriture d’Apple, permettant aux utilisateurs de générer du contenu et des images de manière plus intuitive et créative. Cependant, cette annonce n’a pas été reçue sans critiques. Elon Musk, fondateur de la société concurrente xAI, a exprimé de vives inquiétudes quant à la sécurité des données des utilisateurs, allant jusqu’à menacer d’interdire les produits Apple dans ses entreprises.

Lundi, Apple a présenté pour la première fois « Apple Intelligence » lors d'une vaste présentation à l'occasion de sa Worldwide Developers Conference annuelle à Cupertino, en Californie. Cependant, le cœur de cette nouvelle technologie, un ensemble de modèles d'IA développés par Apple, a été éclipsé par l'annonce de l'intégration de ChatGPT dans les systèmes d'exploitation de ses appareils.

Depuis que la rumeur de ce partenariat est apparue, nous avons constaté une certaine confusion sur les réseaux sociaux quant à la raison pour laquelle Apple n'a pas développé en interne un chatbot de pointe de type GPT-4. Malgré le fait qu'Apple développe depuis un an ses propres grands modèles de langage (LLM), beaucoup ont perçu l'intégration de ChatGPT (et l'ouverture à d'autres, comme Google Gemini) comme un signe du manque d'innovation d'Apple.

« C'est vraiment étrange. Apple pourrait sûrement former un très bon LLM concurrent s'il le voulait ? Ils ont eu un an pour le faire », a écrit le développeur d'IA Benjamin De Kraker sur X.

This is really strange. Surely Apple could train a very good competing LLM if they wanted? They've had a year

— Benjamin De Kraker 🏴*☠️ (@BenjaminDEKR) June 10, 2024

Bien qu'Apple ait développé de nombreuses technologies en interne, la société n'a jamais hésité à intégrer des technologies externes lorsque cela s'avérait nécessaire, que ce soit par le biais d'acquisitions ou de clients intégrés - en fait, Siri a été initialement développé par une société externe. Mais en passant un accord avec une société comme OpenAI, qui a été à l'origine d'une série de controverses technologiques récemment, il est compréhensible que certaines personnes ne comprennent pas pourquoi Apple a fait cet appel - et ce que cela pourrait impliquer pour la confidentialité de leurs données sur l'appareil.

« Nos clients veulent quelque chose avec une connaissance du monde à certains moments »

Bien qu'Apple Intelligence utilise en grande partie ses propres LLM développés par Apple, Apple a également réalisé que certains utilisateurs pourraient parfois vouloir utiliser ce que l'entreprise considère comme le « meilleur » LLM existant actuellement - la famille GPT-4 d'OpenAI. Dans une interview accordée au Washington Post, Tim Cook, PDG d'Apple, a expliqué la décision d'intégrer OpenAI en premier :

« Je pense qu'ils sont pionniers dans ce domaine et qu'ils ont aujourd'hui le meilleur modèle », a-t-il déclaré. « Et je pense que nos clients veulent quelque chose avec une connaissance du monde de temps en temps. Nous avons donc envisagé tout et n'importe qui. Et il est évident que nous ne sommes pas bloqués sur une personne pour toujours ou quelque chose comme ça. Nous intégrons également d'autres personnes. Mais ils sont les premiers, et je pense qu'aujourd'hui c'est parce qu'ils sont les meilleurs ».

L'avantage proposé par Apple d'intégrer ChatGPT dans diverses expériences au sein d'iOS, iPadOS et macOS est qu'il permet aux utilisateurs de l'IA d'accéder aux capacités de ChatGPT sans avoir besoin de passer d'une application à l'autre - soit par l'interface Siri, soit par les « Outils d'écriture » intégrés d'Apple. Les utilisateurs auront également la possibilité de connecter leur compte ChatGPT payant pour accéder à des fonctionnalités supplémentaires.

Pour répondre aux préoccupations en matière de protection de la vie privée, Apple indique qu'avant d'envoyer des données à ChatGPT, le système d'exploitation demande l'autorisation de l'utilisateur, et que l'ensemble de l'expérience ChatGPT est facultative. Selon Apple, les demandes ne sont pas stockées par OpenAI et les adresses IP des utilisateurs sont cachées. Apparemment, la communication avec les serveurs d'OpenAI se fait par le biais d'appels API similaires à l'utilisation de l'application ChatGPT sur iOS, et il n'y aurait pas d'intégration plus poussée du système d'exploitation susceptible d'exposer les données de l'utilisateur à OpenAI sans son autorisation.

Pour l'instant, nous ne pouvons que croire Apple sur parole, bien sûr, et des détails solides sur les efforts d'Apple en matière de confidentialité de l'IA émergeront lorsque les experts en sécurité auront mis la main sur les nouvelles fonctionnalités dans le courant de l'année.

Elon Musk : « Si Apple intègre OpenAI au niveau du système d'exploitation, les appareils Apple seront interdits dans mes entreprises »

Elon Musk est tellement opposé au projet d'Apple d'intégrer le ChatGPT d'OpenAI aux systèmes d'exploitation des appareils qu'il semble répandre des idées fausses tout en critiquant vivement le partenariat. Sur X (anciennement Twitter), Musk a critiqué les prétendus risques pour la vie privée et la sécurité depuis que le projet a été annoncé lundi lors de la Worldwide Developers Conference annuelle d'Apple.

« Si Apple intègre OpenAI au niveau du système d'exploitation, les appareils Apple seront interdits dans mes entreprises », a posté Musk sur X. « C'est une violation inacceptable de la sécurité ». Dans un autre message répondant au PDG d'Apple, Tim Cook, Musk a écrit : « Je n'en veux pas. Soit vous arrêtez ce logiciel espion effrayant, soit tous les appareils Apple seront interdits dans les locaux de mes entreprises ».

Musk a également publié un mème suggérant qu'Apple prévoyait de partager les données des utilisateurs avec OpenAI. Un autre de ses posts a temporairement reçu une note de la communauté de vérification des faits après avoir suggéré qu'Apple avait formé le partenariat à la hâte et sans réfléchir, sans se soucier de la vie privée et de la sécurité des utilisateurs.

« Il est manifestement absurde qu'Apple ne soit pas assez intelligent pour créer sa propre IA, mais qu'il soit en quelque sorte capable de s'assurer qu'OpenAI protégera votre sécurité et votre vie privée ! » a écrit Musk. « Apple n'a aucune idée de ce qui se passe réellement une fois que vos données sont confiées à OpenAI. Ils vous vendent à la sauvette ».

La note de la communauté, qui a depuis été supprimée, a ajouté un peu de contexte, contredisant Musk en clarifiant qu'Apple a développé ses propres modèles d'IA et n'utilisera ChatGPT que lorsque les utilisateurs « choisissent de le faire ». Mais alors que cette note a maintenant disparu (bien qu'elle subsiste dans les captures d'écran), les utilisateurs de X ont continué à critiquer les messages de Musk comme étant trompeurs ou ont cherché à clarifier le fonctionnement de l'intégration de ChatGPT.

En substance, Musk a allégué qu'OpenAI aura accès aux données des utilisateurs d'Apple au niveau de l'appareil, sans que les utilisateurs puissent s'y opposer, et que l'intégration de ChatGPT se comportera comme un logiciel espion en permettant à OpenAI de collecter et de partager des données avec des tiers sans le consentement de l'utilisateur.

Cependant, la description du partenariat faite par Musk ne correspond pas à ce qu'Apple a partagé lors de la conférence. Sam Pullara, directeur technique d'une société de capital-investissement, a publié sur X que « les données relatives à une requête spécifique ne sont envoyées à OpenAI » que lorsque l'utilisateur « l'approuve au cas par cas", Apple ne fournissant "aucun accès à l'appareil ».

« Ce n'est pas différent de l'utilisation de l'application ChatGPT aujourd'hui », a écrit Pullara.

La clarification de Pullara n'a pas semblé impressionner Musk.

« Alors laissez-la en tant qu'application », a répondu Musk. « C'est n'importe quoi ».

Selon les déclarations conjointes d'OpenAI et d'Apple, l'intégration de ChatGPT permet « aux utilisateurs d'accéder aux capacités de ChatGPT - y compris la compréhension des images et des documents - sans avoir à passer d'un outil à l'autre ». Cela fonctionne apparemment par le biais de requêtes API qui, selon Apple et OpenAI, « ne sont pas stockées par OpenAI ». L'intégration est également disponible uniquement par le biais d'une option, ce qui signifie que les utilisateurs peuvent choisir d'utiliser ChatGPT s'ils le souhaitent. Même en posant une question à Siri, l'utilisateur en sera informé « avant que toute question ne soit envoyée à ChatGPT », précisent les deux entreprises.

Le conflit de longue date entre Musk et OpenAI

Aucune des informations disponibles publiées sur les blogs de X ou de l'entreprise n'a apparemment persuadé Musk que l'intégration de ChatGPT avec les appareils Apple protégera les données des utilisateurs. Il a même répondu à un utilisateur de X qui suggérait que X devrait « s'associer à Samsung pour fabriquer un téléphone X" afin de concurrencer Apple que "ce n'est pas hors de question ».

D'autres utilisateurs avaient moins confiance dans les capacités de Musk en tant qu'ingénieur à cause de ses messages. Lors d'un échange sur X, un développeur d'applications a suggéré que Musk semblait faire preuve d'un manque de compréhension que la plupart des ingénieurs devraient avoir.

« Je n'arrive pas à croire que ce type se qualifie "d'ingénieur" sans comprendre qu'il s'agit d'un appareil et d'une option de retrait », a écrit le développeur de l'application. « Le plus hypocrite dans tout cela, c'est que Tesla capture bien plus de données partout où vous conduisez ». Ce message a suscité la réplique d'un autre utilisateur de X, alléguant que Musk « sait comment cela fonctionne » et qu'il « diffuse intentionnellement des informations erronées ».

Bien entendu, Musk n'était pas le seul utilisateur de X à critiquer le partenariat d'Apple avec OpenAI. Si vous parcourez les réponses de Musk, vous verrez que le propriétaire du X s'engage avec de nombreux autres utilisateurs qui sont d'accord avec lui pour dire qu'Apple fait fausse route.

Dans un échange récent, Musk a répondu à un utilisateur qui avait posté une vidéo amusante comparant un vendeur de glace faisant le clown et trompant un client pour qu'il accepte un cornet vide à « Apple qui vous fait croire que vos données sont en sécurité ».

The truth is that handing your data over to digital superintelligence (that Apple themselves cannot even build or understand) at the operating system level is insane.

— Elon Musk (@elonmusk) June 11, 2024

Source : OpenAI

Et vous ?

Quelles sont vos attentes concernant les innovations que pourrait apporter la collaboration entre Apple et OpenAI dans les produits que vous utilisez au quotidien ?
Croyez-vous que l’intégration de l’IA dans les appareils personnels représente une menace pour la vie privée, ou est-ce simplement l’évolution naturelle de la technologie ?
Comment percevez-vous l’intervention d’Elon Musk dans le débat sur la sécurité des données avec la nouvelle alliance OpenAI-Apple ?
Quel rôle pensez-vous que les régulateurs devraient jouer pour encadrer les partenariats entre les grandes entreprises de technologie et les développeurs d’IA ?
Si vous aviez à choisir, préféreriez-vous des fonctionnalités d’IA avancées avec des risques de confidentialité potentiels, ou des fonctionnalités plus limitées avec une meilleure protection des données ?
Quelles mesures concrètes aimeriez-vous voir mises en place par Apple et OpenAI pour vous assurer que vos informations restent sécurisées ?
La transparence des entreprises sur l’utilisation des données est-elle suffisante pour vous rassurer sur l’utilisation de l’IA dans les services quotidiens ?
Comment la collaboration entre Apple et OpenAI influence-t-elle votre perception de ces entreprises et de leurs produits ?

[Bruno]

Apple et l'IA : Tim Cook admet ne pas être sûr à 100 % de pouvoir éliminer les hallucinations de l'IA,
ce qui met en lumière l'importance d'une utilisation prudente et critique de ces technologies

Tim Cook, le PDG d'Apple, a exprimé des réserves quant à la capacité de l'entreprise à éliminer complètement les hallucinations de l'IA dans son nouveau système Apple Intelligence. Lors d'une interview, Cook a admis qu'il ne garantirait jamais à 100 % l'absence d'informations erronées générées par l'IA. Bien qu'Apple ait mis en place toutes les mesures possibles pour assurer la qualité de la technologie, Cook reconnaît qu'il existe toujours une marge d'erreur. Les hallucinations de l'IA se produisent lorsqu'un modèle d'IA génère des informations fausses, trompeuses ou illogiques, mais les présente comme des faits. Ces erreurs sont parfois difficiles à repérer, car la grammaire et la structure des phrases générées par l'IA semblent souvent convaincantes et sûres d'elles, malgré les inexactitudes qu'elles contiennent.

Les hallucinations résultent des grands modèles de langage (LLM) utilisés par les outils d'IA générative et les chatbots comme ChatGPT. Bien que les LLM soient conçus pour produire des textes fluides et cohérents, ils ne comprennent pas la réalité qu'ils décrivent. Leur fonction principale est de prédire le mot suivant en se basant sur la probabilité, et non sur la précision. Apple a récemment présenté son système Apple Intelligence lors de la Worldwide Developers Conference, lequel inclura des fonctionnalités d'IA sur l'iPhone, l'iPad et le Mac, telles que la génération de réponses aux emails et la création d'emojis personnalisés. Cependant, comme pour toute IA, des erreurs peuvent survenir, illustrées par des incidents récents impliquant Google et ChatGPT.

Dans une interview, Cook a souligné qu'il ne prétendrait jamais que le nouveau système Apple Intelligence serait exempt d'erreurs à 100 %. Il a déclaré : « Je pense que nous avons fait tout ce que nous savions faire, y compris une réflexion approfondie sur l'état de préparation de la technologie dans les domaines dans lesquels nous l'utilisons. Je suis donc persuadé qu'elle sera de très bonne qualité. Mais en toute honnêteté, je dirais que ce n'est pas encore 100 %. Je ne prétendrai jamais que c'est le cas. »

Apple intensifie discrètement ses efforts en IA

Apple renforce discrètement ses capacités en intelligence artificielle grâce à des acquisitions, des embauches et des mises à jour matérielles. Récemment, l'entreprise a introduit des outils d'apprentissage automatique gratuits, marquant un changement dans son approche traditionnellement conservatrice de l'IA. L'équipe de recherche a publié le framework MLX et la bibliothèque de modèles MLX Data, conçus pour fonctionner efficacement sur les puces Apple Silicon. Inspirés par des frameworks comme PyTorch et Jax, ces outils, accessibles via GitHub et PyPI, permettent d'entraîner des modèles d'IA avancés tout en étant faciles à utiliser.

L'intégration de MLX sur Apple Silicon, désormais présente dans tous les produits Apple, permet d'exploiter la GPU, la CPU et le moteur neuronal pour exécuter des modèles de machine learning directement sur l'appareil, offrant ainsi des performances optimales et une meilleure protection de la vie privée. Cette initiative vise à démocratiser l'apprentissage automatique en fournissant des outils puissants aux chercheurs.

Apple, qui évite toujours d'utiliser le terme "IA" dans ses présentations, semble se concentrer sur des modèles fondamentaux pour ses services plutôt que sur l'IA générative. Cette approche pourrait refléter une volonté de se démarquer des connotations alarmistes associées à l'IA ou une hésitation à s'engager pleinement dans ce domaine.

Depuis 2017, Apple a acquis 21 startups spécialisées dans l'IA, se concentrant sur les défis liés à l'IA sur les appareils mobiles, notamment les iPhones. Apple cherche à exploiter l'IA générative directement sur ses appareils, permettant aux chatbots et aux applications d'IA de fonctionner localement sans dépendre des services en nuage. Pour cela, elle travaille sur la réduction de la taille des grands modèles de langage et sur le développement de processeurs plus performants.

D'après une note de recherche de Morgan Stanley, près de la moitié des offres d'emploi d'Apple en IA incluent désormais le terme Deep Learning, qui fait référence aux algorithmes utilisés pour l'IA générative capable de produire du texte, de l'audio et du code de manière humaine. En 2018, Apple a embauché John Giannandrea, le principal responsable de l'IA de Google. Alors que l'attention mondiale se porte sur les géants de l'IA basés sur le cloud comme ChatGPT et PaLM, Apple pourrait préparer une révolution plus discrète avec des modèles de langage puissants fonctionnant directement sur les iPhones et iPads.

Morgan Stanley estime que les services d'Apple pourraient bénéficier de l'intégration de l'IA dans les iPhones, augmentant les dépenses de services par utilisateur grâce à de nouveaux paiements pour l'acquisition de trafic, une meilleure rétention des services, une accélération des achats sur l'App Store et un éventuel abonnement premium à Siri. Cependant, les ventes de matériel devraient également bénéficier le plus de cette transition vers l'IA.

Depuis le lancement de l'iPhone 12 5G en octobre 2020, Morgan Stanley note que les cycles de remplacement de l'iPhone se sont allongés de près de 12 mois, atteignant un record de 4,5 ans. Cela est dû à une stabilisation de la courbe d'innovation, à l'amélioration de la qualité des appareils et à des vents contraires aux dépenses en biens de consommation.

Tim Cook reconnaît les risques de désinformation par l'IA d'Apple

Tim Cook fait preuve d’une transparence salutaire en reconnaissant les limitations des technologies d’intelligence artificielle actuelles. Admettre que le nouveau système Apple Intelligence ne peut garantir à 100 % l’absence d’erreurs ou d’hallucinations est un message honnête et réaliste qui devrait rassurer les utilisateurs sur l’intégrité d’Apple. Cependant, cela soulève plusieurs points de réflexion critique.

Cette reconnaissance des limites de l'IA met en lumière l'importance d'une utilisation prudente et critique de ces technologies. Les hallucinations de l'IA, où des informations fausses sont présentées comme factuelles, peuvent avoir des conséquences graves si elles ne sont pas correctement identifiées. Une confiance excessive dans des réponses générées par des modèles d’IA, même celles provenant d'entreprises prestigieuses comme Apple, pourrait conduire à la désinformation ou à des erreurs de jugement.

L'approche de Cook illustre également un défi fondamental dans le développement de l'IA : l'équilibre entre innovation rapide et fiabilité. Alors que les grandes entreprises technologiques se précipitent pour intégrer des fonctionnalités d'IA avancées dans leurs produits, il est crucial de ne pas sacrifier la précision et la véracité des informations générées. Les utilisateurs doivent être conscients des limites actuelles et rester vigilants quant à la vérification des informations fournies par ces systèmes.

Le commentaire de Cook incite aussi à réfléchir sur la responsabilité des entreprises en matière d'IA. Si l'IA ne peut pas être fiable à 100 %, quelles mesures supplémentaires peuvent être mises en place pour minimiser les risques ? Cela pourrait inclure des mécanismes robustes de vérification humaine, des systèmes de retour d'information pour corriger les erreurs, et une transparence accrue sur les processus de prise de décision de l'IA.

Enfin, la déclaration de Cook ouvre la voie à une discussion plus large sur la nécessité de réguler et de standardiser les pratiques de développement et de déploiement de l'IA. Les régulateurs et les développeurs doivent travailler ensemble pour établir des normes qui garantissent non seulement l'innovation technologique, mais aussi la sécurité et la fiabilité des informations générées par l'IA. Il est essentiel de rappeler que la reconnaissance des limites de l'IA par les leaders du secteur doit être accompagnée d'efforts continus pour améliorer la fiabilité et la transparence de ces technologies. Les utilisateurs doivent être éduqués sur les capacités et les limites de l'IA, et des garde-fous doivent être mis en place pour prévenir les conséquences potentielles des erreurs de l'IA.

Source : Apple CEO Tim Cook in an interview

Et vous ?

Tim Cook reconnaît que l'IA d'Apple n'est pas exempte d'erreurs. Peut-on faire confiance à cette IA ?

Quelles autres mesures peuvent être prises pour réduire les risques, étant donné que l'IA ne peut garantir une fiabilité totale ?

Voir aussi :

Apple vient de lancer discrètement une série de nouveaux outils d'apprentissage automatique, une révolution silencieuse ou un coup de marketing ?

Apple, sous le feu des critiques pour ses prix élevés et des accusations de pratiques monopolistiques, projette de lancer l'iPhone AI en 2024, selon les prévisions de Morgan Stanley

Apple lance MGIE, un modèle de retouche d'images basé sur l'IA, cherchant à rattraper son retard dans un secteur où ses efforts compromettent la confidentialité, valeur clé de sa culture d'entreprise

[Mathis Lucas]

Apple paiera OpenAI pour l'intégration de ChatGPT à l'iPhone, à l'iPad et au Mac par le biais de "la distribution" et non en espèces
l'accès aux appareils Apple semble être beaucoup plus précieux pour OpenAI

Apple ne devrait verser aucun dollar à OpenAI pour l'intégration de ChatGPT à l'iPhone, à l'iPad et au Mac. Et OpenAI ne devrait pas non plus payer un centime à Apple pour un accès sans précédent aux utilisateurs de ses appareils. Au lieu de cela, Apple a offert à OpenAI quelque chose qui semble apparemment beaucoup plus précieux : la distribution de masse. Cet accord est l'un des partenariats les plus insolites de la sphère technologique. Le deal renforce la position d'OpenAI, soulève énormément de questions sur les relations du laboratoire d'IA avec Microsoft et constitue un revers pour Google, du moins pour l'instant.

Apple a dévoilé en début de semaine de nouvelles fonctionnalités d'IA qui seront intégrées à l'iPhone et à d'autres appareils dans le courant de l'année. Ces fonctionnalités sont regroupées sous l'appellation "Apple Intelligence". La plus notable d'entre elles est l'intégration de ChatGPT directement dans les applications iPhone, notamment à l'assistant vocal Siri. Ainsi, Apple commencera à déployer vers la fin de l'année, un Siri plus conversationnel, des "Genmoji" (de nouvelles formes d'émoji) personnalisés générés par l'IA et l'accès GPT-4o qui permet à Siri de se tourner vers ChatGPT pour répondre à des requêtes complexes.

Cet accord est une surprise pour de nombreuses personnes et certains analystes affirment qu'il s'agit du partenariat le plus incompris dans le domaine de la technologie. Beaucoup ont du mal à comprendre pourquoi Apple a fait le choix de s'allier avec OpenAI plutôt de développer son propre grand modèle de langage (LLM) de type GPT-4. L'expert en IA Benjamin de Kraker a écrit dans un billet sur X : « c'est vraiment étrange. Apple pourrait sûrement former un très bon LLM concurrent s'il le voulait ? Ils ont eu un an pour le faire ». Toutefois, d'autres détails encore plus surprenants de ce partenariat viennent d'être révélés.

En effet, la question de savoir quelle entreprise paie l'autre dans le cadre d'une collaboration étroite qui pourrait avoir des retombées monétaires durables pour les deux parties est restée sans réponse après l'annonce d'Apple lundi. Mais, d'après des personnes informées, le partenariat ne devrait pas générer de revenus significatifs pour l'une ou l'autre des parties, du moins au début. Les sources, qui ont demandé à ne pas être identifiées parce que les termes de l'accord sont confidentiels, ont déclaré qu'Apple ne paie pas OpenAI dans le cadre de ce partenariat. Autrement dit, Apple ne versera aucune somme à son partenaire.

Au lieu de cela, Apple estimerait que le fait d'intégrer la marque et la technologie d'OpenAI à des centaines de millions de ses appareils (iOS, iPadOS et macOS) a une valeur égale ou supérieure à celle des paiements monétaires. Pendant ce temps, les technologies d'OpenAI permettront à Apple d'offrir "un chatbot avancé" à ses clients, ce qui pourrait inciter les utilisateurs à passer plus de temps sur leurs appareils ou même à dépenser de l'argent pour les mettre à niveau. Mais, selon les sources, même si l'argent n'a pas été un facteur déterminant dans l'accord entre Apple et OpenAI, il pourrait entrer en ligne de compte plus tard.

L'accord conclu avec Apple soulève en effet des questions sur les relations d'OpenAI avec Microsoft. Dans sa forme actuelle, le partenariat pourrait rapidement devenir coûteux pour OpenAI. Ce dernier doit payer Microsoft pour héberger ChatGPT sur l'infrastructure de cloud computing Azure du géant de Redmond. Plus les gens utilisent le chatbot, plus les dépenses d'OpenAI augmentent. Et l'intégration de ChatGPT dans les appareils Apple (bien qu'elle soit facultative pour les utilisateurs et limitée aux produits récents) menace d'alourdir considérablement le budget informatique. L'on ignore comment OpenAI y fera face.

ChatGPT sera proposé gratuitement sur les appareils Apple, mais OpenAI et Apple pourraient encore gagner de l'argent en convertissant les utilisateurs gratuits en comptes payants. Les plans d'abonnement d'OpenAI commencent à 20 dollars par mois, un tarif qui couvre des fonctions supplémentaires telles que la capacité d'analyser des données et de générer davantage de types d'images. Aujourd'hui, si un utilisateur s'abonne à OpenAI sur un appareil Apple via l'application ChatGPT, le processus utilise la plateforme de paiement d'Apple, qui donne traditionnellement une part (généralement 30 %) au fabricant de l'iPhone.

Selon certains analystes, Apple a probablement obtenu la meilleure part du gâteau, puisqu'il ne paiera rien à OpenAI, mais va également tirer un bénéfice des abonnements via l'application iOS de ChatGPT. OpenAI, en revanche, devra gérer l'afflux soudain de nouveaux utilisateurs dans les mois à venir et verra certainement sa facture Azure augmenter. En outre, le partenariat ne signifie pas qu'OpenAI bénéficiera d'une exclusivité sur ces appareils. Le fabricant de l'iPhone envisage déjà de proposer le chatbot Gemini de Google comme option supplémentaire. Cet accord devrait être mis en place dans le courant de l'année.

La rumeur indique également qu'Apple pourrait également conclure un accord avec Anthropic. L'idée est d'offrir à terme une gamme variée de services d'IA à ses utilisateurs, de la même manière qu'Apple propose différentes options de moteur de recherche dans son navigateur Safari. À terme, Apple souhaiterait gagner de l'argent grâce à l'IA en nouant des partenariats de partage des revenus dans le cadre desquels il récupèrera une part auprès des partenaires qui monétisent les résultats des chatbots sur les plateformes Apple. Selon les personnes au fait des plans d'Apple, l'entreprise cherche de nouvelles sources de revenus.

L'entreprise estime que l'IA pourrait réduire les milliards de dollars qu'elle tire de son accord de recherche avec Google, car les utilisateurs préféreront les chatbots et d'autres outils aux moteurs de recherche. Apple devra donc élaborer de nouveaux accords pour compenser le manque à gagner. Les services d'IA d'Apple ne devraient pas être très coûteux à fournir, car la plupart d'entre eux sont gérés sur les appareils eux-mêmes, plutôt que par l'intermédiaire du cloud.

Néanmoins, l'entreprise est en train d'intensifier les opérations de son centre de données pour prendre en charge de nouveaux services d'IA en ligne qui gèrent des tâches plus avancées. Pour que l'Apple Intelligence soit un succès, l'entreprise devra l'étendre à d'autres langues et à d'autres pays. Cela pourrait s'avérer difficile en Chine, l'un des plus grands marchés étrangers d'Apple, où des outils/services basés sur l'IA tels que ChatGPT et Gemini sont interdits.

Source : Mark Gurman de Bloomberg

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du partenariat entre OpenAI et Apple ?
Laquelle des deux parties bénéficie le plus de cette collaboration ?
L'accès aux appareils Apple est-il aussi précieux que l'entreprise veut le faire croire ?
Quels pourraient être les impacts de la proposition d'une gamme variée d'outils d'IA sur les appareils Apple ?

Voir aussi

WWDC 2024 : Apple dévoile « Apple Intelligence », une suite de fonctionnalités IA pour Siri, iOS et macOS. ChatGPT est intégré dans les OS d'Apple et est traité comme un moteur de recherche par Siri

Apple et OpenAI ont actuellement le partenariat le plus incompris dans le domaine de la technologie, Elon Musk attaque l'intégration Apple/ChatGPT en la qualifiant de « logiciel espion effrayant »

L'IA d'Apple dans iOS 18 sera sur l'appareil et non sur le serveur, ce qui préservera la vie privée, ces fonctions d'IA fonctionneraient sans connexion Internet ni aucune forme de traitement basé sur le cloud

[Fluxgraveon]

Tim Cook, le PDG d'Apple, a exprimé des réserves quant à la capacité de l'entreprise à éliminer complètement les hallucinations de l'IA dans son nouveau système Apple Intelligence.

Pour les humains, la prise en charge (symptomatique) est basée sur l'utilisation de neuroleptiques.
Pour l'IA, voir peut-être du côté des leptons ?

[Fluxgraveon]

J'ajoute :
sur le plan nootique, (comprenez au carrefour de la noétique et des fonctions cérébrales), il peut-être intéressant d'utiliser "l'hyperart Thomasson" (à titre indicatif, cela est émis par Ijin, prosôpon ).
Cette affaire d'hallucinations n'a rien d'étonnant, s'agissant d'une création humaine (cf. l'expérience "Norman" du M.I.T, merci)