Les assistants numériques deviennent de plus en plus « intelligents », d'après un rapport
Les assistants numériques deviennent de plus en plus « intelligents »,
d'après l'édition 2018 du rapport Annual Smart Speaker IQ Test
Loup Ventures a publié les résultats de son test de QI semestriel d'assistants numériques / intelligents, utilisant une batterie de 800 questions types. Selon les analystes, Google Assistant a pu répondre correctement à 88% d'entre elles, contre 75% pour Siri, 73% pour Alexa et 63% pour Cortana. L'année dernière, Google Assistant a pu répondre correctement à 81% d’entre elles, Siri a pu répondre à 52% d’entre elles (dans le test du 18 février), Alexa à 64% et Cortana à 56%.
MéthodologieEnvoyé par analystes Loup Ventures
Les analystes ont posé à chaque intervenant intelligent les mêmes 800 questions, et elles ont été notées sur deux métriques :
- A-t-il compris ce qui était dit ?
- A-t-il donné une réponse correcte ?
L’ensemble de questions, conçu pour tester de manière exhaustive les capacités et l’utilité d’un haut-parleur intelligent, est divisé en 5 catégories :
- Local - Où se trouve le café le plus proche ?
- Commerce - Peux-tu me commander plus de papier toilette ?
- Navigation - Comment puis-je me rendre dans ce quartier résidentiel en bus?
- Information - Contre qui les Twins jouent-ils ce soir?
- Commande - Rappelle-moi d'appeler Steve à 14 heures aujourd'hui.
Les analystes précisent que
Résultats et analyse
- Google Home a poursuivi sa surperformance en répondant correctement à 88% et en comprenant les 800 questions ;
- le HomePod a répondu correctement à 75% et a mal compris seulement 3 questions ;
- Echo a répondu à 73% et mal compris 8 questions ;
- Cortana a correctement répondu à 63% et a mal compris seulement 5 questions.
Notez que presque toutes les questions mal comprises impliquaient un nom propre, souvent le nom d’une ville ou d’un restaurant local. Aussi, pour les analystes « la reconnaissance vocale et le traitement en langage naturel des assistants numériques se sont améliorés à un point tel que, dans des limites raisonnables, ils comprendront tout ce que vous leur dites ».
Google Home a l'avantage dans quatre des cinq catégories, mais il a été battu par Siri dans la catégorie Commande. Pour les analystes, le fait que HomePod domine dans cette catégorie tient peut-être au fait que le HomePod transmet les requêtes SiriKit complètes telles que celles concernant la messagerie, les listes (en somme toute autre chose que de la musique) sur le périphérique iOS associé au haut-parleur. « Siri sur iPhone possède une intégration profonde avec l’email, l'agenda, la messagerie et d'autres domaines prioritaires de notre catégorie Commande. Notre ensemble de questions contient également une bonne quantité de requêtes liées à la musique, dans lesquelles HomePod est spécialisé », soulignent les analystes.
La plus grande disparité existe dans la section Commerce, qui, selon les analystes, pourrait être dominé par Alexa d’Amazon. Toutefois, Google Assistant répond correctement aux questions relatives aux informations sur les produits et aux endroits où acheter certains articles. En outre, Google Express est tout aussi compétent qu'Amazon pour ce qui est d'acheter des articles ou de réapprovisionner des produits que vous avez achetés auparavant.
D'après les sondages de Loup Ventures auprès des consommateurs et son expérience en matière d'assistant numérique, les analystes estiment que le nombre de consommateurs effectuant des achats à l'aide de commandes vocales est insignifiant. « Nous pensons que les requêtes liées au commerce sont davantage axées sur la recherche de produits et la découverte d’affaires locales, et notre ensemble de questions en tient compte ».
Le score Commerce surprenant d’Alexa s’explique mieux par un exemple tiré du test.
- Question : Combien coûterait une manucure ?
- Alexa : Le résultat principal de la recherche en manucure est le kit de manucure et de pédicure électrique Beurer. Il est de 59 $ sur Amazon. Voulez-vous l'acheter ?
- Google Assistant : En moyenne, une manucure de base vous coûtera environ 20 dollars. Cependant, les types spéciaux de manucures, tels que l'acrylique, le gel, la gomme laque et le sans puce, varient entre 20 et 50 USD, selon le salon.
HomePod et Google Home se démarquent de la concurrence dans les sections locale et navigation du fait de leur intégration avec des données cartographiques exclusives. Lors du test, les analystes ont souvent posé des questions sur les entreprises locales, les gares routières, les noms de villes, etc. Ces données constituent un avantage comparatif potentiel à long terme pour Siri et Google Assistant. Chaque assistant numérique peut jouer de manière fiable une chanson donnée ou vous dire le temps qu'il fait, mais le facteur de différenciation sera le véritable utilitaire de la conscience contextuelle. En effet, les chercheurs expliquent que :
Sur 12 mois, Google Home a progressé de 7 points, Echo de 9 points, Siri (9 mois) de 22 points et Cortana de 7 points en termes de réponses correctes aux questions.
Source : Loup Ventures
Et vous ?
Qu'en pensez-vous ?
Voir aussi :
Répondre avec citation
Partager