Devons-nous faire confiance aux résumés d’avis générés par l’IA d’Amazon ?

Génial : de plus en plus de robots déjantés nous disent quoi acheter.

Dernièrement, les utilisateurs ont remarqué un afflux de résumés d’avis de produits générés par l’IA sur Amazon. Peut-on leur faire confiance ?

Les produits Amazon reçoivent souvent des centaines, voire des milliers d’avis, et il peut être fastidieux et long de passer au crible tous ces commentaires. Mais acheter sur Amazon un support pour ordinateur portable, par exemple, nécessite souvent de passer au crible de nombreuses options sur le site dont la qualité varie considérablement, une charge de travail plus appropriée pour investir dans une voiture que pour acheter un article ménager quotidien. En août dernier, Amazon a annoncé une solution pour lutter contre la fatigue des avis : un résumé généré par l’IA qui met en évidence succinctement les avantages et les inconvénients des clients.

Théoriquement, cette fonctionnalité est un outil utile qui aide les consommateurs à décider rapidement quels produits acheter. Mais l’apparition de ces résumés souligne les pièges du recours à l’IA générative : inexactitude et informations trompeuses.

Une recherche rapide sur Amazon a révélé plusieurs problèmes. Un résumé généré par l’IA des avis sur le tapis de yoga chaud Manduka GRP Adapt, faisant référence à un autre tapis de yoga d’une marque concurrente, l’appelant le « tapis de yoga Alo Warrior ». Amazon a depuis résolu ce problème spécifique après que Indigo Buzz l’ait porté à son attention. Mais corriger les inexactitudes individuelles dans les résultats d’un grand modèle de langage, c’est un peu comme un jeu de hasard, car même les ingénieurs ne comprennent pas pleinement le comportement des modèles.

Et c’est là que réside le problème d’une trop grande dépendance à l’IA générative. Entraîner l’IA à se comporter de manière autonome signifie également que les modèles peuvent « agir » de manière involontaire ou déroutante.

Dans quelques autres exemples mineurs, le résumé de l’examen de l’IA pour quelque chose appelé Musher’s Secret faisait vaguement référence au produit comme à des « fournitures pour animaux de compagnie » et disait qu’il gardait « les coussinets de PSA au chaud ». Étant une pommade qui protège les pattes du chien des trottoirs glacés, elle est probablement censée être des « coussinets de pattes », à moins que les « coussinets psa » ne soient quelque chose que nous ne connaissons pas. En termes de bon sens de l’IA, il semblerait que le modèle « apprenne » à écrire des choses comme des « pads psa » à la place des « pads » à partir des particularités des utilisateurs réels, ce qui donnerait sans doute aux sorties de l’IA une certaine authenticité. Mais est-ce ce que les utilisateurs devraient souhaiter ?

Pour un mini pistolet de massage TheraGun, le résumé de l’examen met le mot « application » en majuscules, il se lit donc « ils mentionnent que l’application fournit des informations utiles sur la batterie et sa durée de vie ». Il est raisonnable de supposer que le résumé parle de l’application qui l’accompagne, mais que se passerait-il s’il faisait plutôt référence à une fonctionnalité technique appelée « APP ? »

Certes, ce sont des erreurs mineures qui n’impactent pas l’essence du résumé. De plus, les avis humains contiennent tout le temps des fautes de frappe et cela ne détruit pas nécessairement leur crédibilité. Mais peut-être que la barre devrait être plus haute pour une intelligence non humaine qui n’a pas encore gagné notre confiance. Ainsi, toute inexactitude ou charabia absurde ressemble à un signal d’alarme immédiat.

Pire encore : si les inexactitudes et les hallucinations passent inaperçues, ces résumés – présentés comme plus ou moins faisant autorité – pourraient nuire à la réputation des produits. Un rapport de Bloomberg a découvert que les résumés des avis sur les produits exagèrent les aspects négatifs des avis, ce qui induit les consommateurs en erreur. Le résumé généré par l’IA des balles de tennis Penn avec une note de 4,7 étoiles a mis en évidence l’odeur comme étant négative. Mais sur 4 300 avis, « seuls sept avis mentionnent une odeur ». Non seulement cela induit les clients en erreur, mais cela pourrait également créer des problèmes pour les commerçants.

De plus, les critiques ne précisent pas le type d’odeur, mais toutes les balles de tennis fraîches n’ont-elles pas cette odeur âcre de caoutchouc que certaines personnes apprécient même ? Les références à des choses comme l’odeur des balles de tennis ressemblent moins à l’inclusion de plaintes légitimes qu’aux voix intrusives de critiques à la Karen qui donnent de manière disproportionnée des critiques négatives aux produits en raison de quelque chose de déraisonnable, comme la difficulté d’ouvrir l’emballage.

Cette utilisation de la technologie soulève également des questions sur ce qui devrait et ne devrait pas figurer dans les points forts des avis générés par l’IA. Pour le contrôle de la qualité et pour garantir que les produits ne comportent pas de résumés d’avis frauduleux générés par l’IA, Amazon utilise uniquement les avis d’achat vérifié et se concentre sur les produits qui ont « un nombre minimum d’avis » et uniquement dans les situations dans lesquelles « les clients partagent le même avis », a déclaré la porte-parole Maria Boschetti.

Actuellement, Amazon ne propose pas de critiques pour les livres, ce qui semble être une bonne chose. Mais il présente des points saillants pour des médicaments comme l’Advil ibuprofène, qui peuvent ne pas atteindre le niveau de danger potentiel, mais suggèrent un certain manque de prudence dans le déploiement de cette fonctionnalité. Amazon dit qu’il envisage de s’étendre à davantage de catégories, la prudence ne semble donc pas être au menu pour le moment.

Même s’il n’a pas été difficile de trouver des exemples erronés, les clients trouvent déjà cette fonctionnalité utile. Un employé de Indigo Buzz à la recherche d’un trépied bon marché a pu prendre sa décision en comparant les résumés de différentes critiques de produits et en a choisi un qui n’avait aucun retour négatif, par rapport à d’autres qui avaient des sentiments légèrement plus mitigés.

« Notre analyse a révélé que les points saillants des avis aident les clients à trouver les produits qu’ils souhaitent et entraînent une augmentation des ventes pour les vendeurs », a déclaré Boschetti. « Nous nous soucions beaucoup de l’exactitude et nous améliorerons continuellement l’expérience des points forts des avis au fil du temps. »

Et soyons honnêtes, la plupart des gens ne peuvent pas ou ne veulent pas passer du temps à analyser les avis alors qu’un simple résumé suffit, à condition qu’il soit exact.

Alors devriez-vous faire confiance à ces résumés d’avis ? Une meilleure question pourrait être : ces résumés sont-ils plus pratiques pour les utilisateurs que le système précédent ? On pourrait – avec beaucoup de prudence – affirmer que la réponse à cette question est « faire confiance, mais vérifier, en comprenant les défauts et les faiblesses de la technologie ».