Le chatbot Bing AI de Microsoft, Copilot, donne des informations électorales erronées

Une nouvelle étude révèle que le chatbot IA fournit des histoires inventées sur les candidats politiques.

Il semble que le chatbot IA de Microsoft soit un véridique électoral.

Selon une nouvelle étude menée par deux groupes à but non lucratif, AI Forensics et AlgorithmWatch, le chatbot IA de Microsoft n’a pas réussi à répondre correctement à une question sur trois liée aux élections.

Le chatbot de Microsoft invente des polémiques sur les candidats politiques

Le chatbot, anciennement connu sous le nom de Bing Chat (il a depuis été renommé Microsoft Copilot), ne s’est pas contenté de se tromper sur les faits de base. Oui, l’étude a révélé que Copilot fournirait des dates d’élections incorrectes ou des candidats obsolètes. Mais l’étude a également révélé que le chatbot inventait même complètement des histoires telles que des controverses sur les candidats.

Par exemple, dans un cas mentionné dans l’étude, Copilot a partagé des informations sur le politicien allemand Hubert Aiwanger. Selon le chatbot, Aiwanger était impliqué dans une controverse concernant la distribution de tracts diffusant des informations erronées sur le COVID-19 et le vaccin. Cependant, une telle histoire n’existait pas. Le chatbot semblait extraire des informations sur Aiwanger publiées en août 2023, où il avait diffusé des « tracts antisémites » alors qu’il était au lycée il y a plus de 30 ans.

La création de ces récits inventés dans les modèles linguistiques de l’IA est communément appelée « hallucinations ». Cependant, les chercheurs impliqués dans l’étude affirment que ce n’est pas une façon précise de décrire ce qui se passe.

« Il est temps que nous discréditions le fait de qualifier ces erreurs d’hallucinations », a déclaré Riccardo Angius, responsable des mathématiques appliquées et chercheur chez AI Forensics, dans un communiqué. « Notre recherche expose l’apparition beaucoup plus complexe et structurelle d’erreurs factuelles trompeuses dans les LLM à usage général. et les chatbots. »

La question du chatbot IA échappe aux chercheurs alarmés

L’étude a également révélé que le chatbot évitait de répondre directement aux questions dans environ 40 % du temps. Les chercheurs affirment que cela est préférable plutôt que d’inventer des réponses dans les cas où le chatbot ne dispose pas d’informations pertinentes. Cependant, les chercheurs s’inquiétaient de la simplicité de certaines des questions éludées par le chatbot.

Un autre problème, selon les chercheurs, est que le chatbot ne semble pas s’améliorer avec le temps car il semble avoir accès à davantage d’informations. Les réponses incorrectes étaient systématiquement incorrectes, même si la réponse incorrecte fournie par le chatbot avait changé lorsqu’une question était posée plusieurs fois.

En outre, l’étude a également révélé que le chatbot fonctionnait encore moins bien dans des langues autres que l’anglais, comme l’allemand et le français. Par exemple, l’étude a révélé que les réponses aux questions posées en anglais aboutissaient à une réponse contenant une erreur factuelle dans 20 % des cas. Lorsqu’on leur a posé une question en allemand, le nombre de fois où une réponse incorrecte a été fournie a bondi à 37 pour cent. Le nombre de fois où le chatbot a évité de répondre à une question dans l’une ou l’autre langue était beaucoup plus proche, l’évasion se produisant respectivement dans 39 % et 35 % du temps.

Les chercheurs affirment avoir contacté Microsoft pour leur faire part des résultats de l’étude et on leur a dit que ces problèmes seraient résolus. Cependant, les chercheurs ont effectué d’autres échantillons un mois plus tard et ont constaté que « peu de choses avaient changé en ce qui concerne la qualité des informations fournies aux utilisateurs ».

« Nos recherches montrent que les acteurs malveillants ne sont pas la seule source de désinformation ; Les chatbots à usage général peuvent être tout aussi menaçants pour l’écosystème de l’information », a déclaré Salvatore Romano, chercheur principal en IA Forensics, dans un communiqué. « Microsoft devrait le reconnaître et reconnaître que signaler le contenu génératif d’IA créé par d’autres n’est pas suffisant. Leurs outils, même lorsqu’ils impliquent des sources fiables, produisent des informations incorrectes à grande échelle.

Alors que l’IA devient de plus en plus répandue sur les plateformes en ligne, des études comme celle-ci fournissent certainement des raisons de s’inquiéter. Les utilisateurs se tournent de plus en plus vers les chatbots IA pour simplifier leur routine et augmenter leur productivité. L’hypothèse est que ces chatbots, disposant de connaissances illimitées à portée de main, fourniront des informations précises. Ce n’est simplement pas le cas.

« Jusqu’à présent, les entreprises technologiques ont introduit des risques sociétaux sans avoir à craindre de conséquences graves », a déclaré Clara Helming, responsable principale des politiques et du plaidoyer chez AlgorithmWatch. « Les utilisateurs individuels sont laissés à eux-mêmes pour séparer les faits de la fiction fabriquée par l’IA. »

Alors que nous nous dirigeons vers une année d’élection présidentielle aux États-Unis, il est clair que des problèmes potentiels d’intégrité électorale sont en jeu. C’est dans cet esprit que les chercheurs ont ajouté leur conclusion à leur étude : ces problèmes ne seront pas résolus par les entreprises seules. L’IA doit être réglementée.