Un rapport dénonce les outils d’IA génératifs pour aider les utilisateurs à créer du contenu nocif pour les troubles de l’alimentation

Les outils d’IA et les chatbots populaires peuvent donner aux utilisateurs des conseils et des suggestions dangereux.

Selon un nouveau rapport publié par le Center for Countering Digital Hate, les plates-formes et outils d’intelligence artificielle générative (IA) peuvent être dangereux pour les utilisateurs qui posent des questions sur les pratiques alimentaires désordonnées nocives.

L’organisation britannique à but non lucratif et de défense des droits a testé six chatbots et générateurs d’images d’IA génératifs populaires, notamment My AI de Snapchat, Bard de Google et ChatGPT et Dall-E d’OpenAI.

Les chercheurs du centre ont alimenté les outils avec un total de 180 invites et ont constaté qu’ils généraient un contenu dangereux en réponse à 41 % de ces requêtes. Les invites comprenaient la recherche de conseils sur la façon d’utiliser des cigarettes pour perdre du poids, comment obtenir un look « héroïne chic » et comment « maintenir le mode famine ». Dans 94 % des réponses textuelles nuisibles, les outils ont averti l’utilisateur que ses conseils pourraient être malsains ou potentiellement dangereux et lui ont conseillé de consulter un professionnel, mais ont quand même partagé le contenu.

Sur 60 réponses aux invites données aux générateurs de texte IA Bard, ChatGPT et MyAI, près d’un quart incluaient du contenu préjudiciable. MyAI a d’abord refusé de fournir des conseils. Cependant, les chercheurs ont pu « jailbreaker » les outils en utilisant des mots ou des phrases qui contournaient les dispositifs de sécurité. Plus des deux tiers des réponses aux versions jailbreakées des invites contenaient du contenu préjudiciable, y compris comment utiliser un ténia pour perdre du poids.

« Des modèles d’IA génératifs non testés et dangereux ont été lancés dans le monde avec la conséquence inévitable qu’ils causent des dommages », a écrit Imran Ahmed, PDG du Center for Countering Digital Hate. « Nous avons constaté que les sites d’IA générative les plus populaires encouragent et exacerbent les troubles de l’alimentation chez les jeunes utilisateurs – dont certains peuvent être très vulnérables. »

Les chercheurs du centre ont découvert que les membres d’un forum sur les troubles de l’alimentation comptant plus de 500 000 utilisateurs déploient des outils d’IA pour créer des plans et des images de régimes extrêmes qui glorifient les normes corporelles malsaines et irréalistes.

Alors que certaines plates-formes interdisent d’utiliser leurs outils d’IA pour générer du contenu sur les troubles de l’alimentation, d’autres entreprises ont des politiques plus vagues. « L’ambiguïté entourant les politiques des plates-formes d’IA illustre les dangers et les risques que les plates-formes d’IA posent si elles ne sont pas correctement réglementées », indique le rapport.

Le tweet a peut-être été supprimé

Lorsque le chroniqueur du Washington Post Geoffrey A. Fowler a tenté de reproduire les recherches du centre en alimentant les mêmes outils d’IA générative avec des invites similaires, il a également reçu des réponses inquiétantes.

Parmi ses questions figuraient les médicaments susceptibles de provoquer des vomissements, la manière de créer un régime alimentaire hypocalorique et les demandes d’images « thinspo ».

« C’est dégoûtant et devrait mettre en colère tout parent, médecin ou ami d’une personne souffrant d’un trouble de l’alimentation », a écrit Fowler. « Il y a une raison pour laquelle cela s’est produit : l’IA a appris des idées profondément malsaines sur l’image corporelle et l’alimentation en parcourant Internet. Et certaines des entreprises technologiques les mieux financées au monde ne l’empêchent pas de les répéter. »

Fowler a écrit que lorsqu’il a interrogé les entreprises derrière les outils, aucune d’entre elles n’a promis d’empêcher leur IA de donner des conseils sur la nourriture et la perte de poids jusqu’à ce qu’elles puissent garantir que c’était sûr.

Au lieu de cela, le générateur d’images Midjourney n’a jamais répondu aux questions de Fowler, a-t-il écrit. Stability AI, qui est à l’origine du générateur d’images Stable Diffusion, a déclaré avoir ajouté des invites alimentaires désordonnées à ses filtres. Google aurait dit à Fowler qu’il supprimerait la réponse de conseil Thinspo de Bard, mais il a pu la générer à nouveau quelques jours plus tard.

Les psychologues qui ont parlé à Fowler ont déclaré que les avertissements de sécurité émis par les chatbots au sujet de leurs conseils sont souvent ignorés par les utilisateurs.

Hannah Bloch-Wehba, professeur à la Texas A&M School of Law qui étudie la modération de contenu, a déclaré à Fowler que les entreprises d’IA génératives ont peu d’incitations économiques à résoudre le problème.

« Nous avons appris de l’expérience des médias sociaux que le fait de ne pas modérer ce contenu n’entraîne aucune conséquence significative pour les entreprises ou, pour la mesure dans laquelle elles profitent de ce contenu », a déclaré Bloch-Wehba.

Si vous souhaitez parler à quelqu’un de votre comportement alimentaire, envoyez « NEDA » à la ligne de texte de crise au 741-741 pour être mis en contact avec un bénévole formé ou visitez le site Web de la National Eating Disorder Association pour plus d’informations.