Comment empêcher les étudiants de faire des deepfakes les uns sur les autres

Les enseignants ne savent pas comment gérer les fausses images nues ou explicites créées par les élèves.

Il n’existe pas de décompte officiel du nombre d’élèves victimes de deepfakes explicites, mais leurs histoires se multiplient plus rapidement que les responsables de l’école ne sont prêts à gérer ces abus.

L'automne dernier, des filles qui avaient assisté à un bal au lycée Issaquah, dans l'État de Washington, ont découvert qu'un camarade de classe avait créé des versions explicites de photographies prises d'elles lors de l'événement, à l'aide d'un logiciel alimenté par l'intelligence artificielle. En février, une jeune fille de 13 ans du sud de la Californie a accepté une demande d'ami sur son compte privé TikTok d'un camarade de classe. Il a ensuite utilisé une capture d'écran d'une vidéo pour générer une version nue de l'image et l'a partagée avec des amis, selon l'Orange County Register.

Alors que des cas comme ceux-ci prolifèrent, les parents inquiets pour leurs enfants ne réalisent peut-être pas que les écoles ne sont malheureusement pas préparées à enquêter sur les abus basés sur l’image de l’IA et à infliger des conséquences justes, voire à dissuader ce comportement en premier lieu.

Adam Dodge, fondateur de Ending Tech-Enabled Abuse (EndTAB), présente ce sujet dans des écoles à travers le pays, souvent à l'invitation d'administrateurs. Il dit que même si certaines écoles sont désireuses d'apprendre comment lutter contre les deepfakes explicites, il existe encore des lacunes importantes dans la compréhension de la technologie par les gens, et il n'existe pas de lignes directrices universelles pour prévenir et répondre à de tels abus.

« Il y a des enfants qui sont arrêtés, d'autres expulsés, d'autres suspendus, et pour certains, rien ne leur arrive, et personne n'y gagne », déclare Dodge, faisant référence à de récents cas médiatisés de deepfakes explicites créés par des étudiants.

Les deepfakes explicites sont-ils légaux ?

Il n’existe aucune loi fédérale qui criminalise la génération ou la diffusion d’images explicites de deepfake, bien que les législatures des États aient récemment présenté des projets de loi visant à rendre illégaux ces deux actes. Le ministère fédéral de l'Éducation ne s'est pas encore prononcé sur la question.

Un porte-parole de l'agence a déclaré à Indigo Buzz que le département n'avait pas lancé de lignes directrices « pour résoudre le problème spécifique des étudiants utilisant la technologie de l'IA pour développer des images « deepfake » nuisibles d'autrui », mais a noté que « tous les étudiants méritent d'avoir accès à des services accueillants, solidaires, et des écoles et des salles de classe sûres. »

Le porte-parole a souligné à Indigo Buzz les ressources du département en matière de climat et de discipline scolaires, ainsi que les informations partagées par la cybersécurité et la sécurité des infrastructures du département américain de la Sécurité intérieure pour créer des écoles plus sûres.

Les principales plateformes d’achat d’applications varient dans la manière dont elles réglementent les applications capables de générer des deepfakes explicites. L'App Store d'Apple n'a pas de règles spécifiques les interdisant, bien qu'il interdise les applications ouvertement sexuelles et pornographiques. Le Play Store de Google interdit également les applications liées au contenu sexuel. Bien que sa politique en matière d'IA n'utilise pas le terme deepfake, elle oblige les développeurs à interdire et à empêcher la génération de contenu restreint, y compris la pornographie et le contenu qui « facilite l'exploitation ou l'abus des enfants ».

Apple a également déclaré à Indigo Buzz que les développeurs ne devraient pas soumettre au magasin des applications qui « comprennent du contenu diffamatoire, discriminatoire ou mesquin, en particulier si l'application est susceptible d'humilier, d'intimider ou de nuire à un individu ou à un groupe ciblé ».

Néanmoins, étant donné que certaines applications d'édition d'images et de vidéos capables de générer des deepfakes explicites peuvent ne pas être commercialisées en tant que telles, il peut être difficile de détecter ces applications, puis de les bloquer d'un magasin. La semaine dernière, Apple a supprimé trois applications de génération d'images IA qui avaient annoncé leur capacité à créer des images de nus non consensuelles, à la suite d'une enquête de 404 Media sur leur disponibilité sur l'App Store. Google a également interdit une application similaire sur Play plus tôt ce mois-ci pour avoir commercialisé la même fonctionnalité, selon 404 Media.

Beaucoup de ces applications peuvent être disponibles en ligne, hébergées sur des sites Web qui ne sont pas scrutés comme les magasins d'applications.

Ainsi, en l’absence de réglementation légale et de directives fédérales, les écoles naviguent généralement seules sur ce territoire inconnu et dangereux, explique Dodge. Lui et d’autres experts affirment que les écoles et leurs communautés doivent agir rapidement. Selon eux, la première étape consiste à aider les éducateurs, les parents et les élèves à acquérir une solide compréhension des abus basés sur les images de l’IA et de leurs méfaits. D'autres stratégies consistent notamment à donner aux jeunes les moyens de défendre des politiques à l'échelle de l'école et à définir des attentes claires concernant le comportement des élèves lorsqu'ils sont exposés à des outils deepfake.

Dodge met en garde les enseignants contre la lenteur et la sous-estimation des dégâts que les élèves peuvent causer avec cette technologie.

« Cela permet à ces étudiants très peu avertis techniquement de faire des choses horriblement sophistiquées à leurs camarades de classe », dit-il.

Ce que les écoles devraient faire contre les deepfakes

Shelley Pasnik, vice-présidente principale de l'Education Development Center à but non lucratif, estime que, comme il n'existe actuellement aucune approche étatique ou nationale pour gérer les deepfakes explicites, les réponses des écoles varieront considérablement.

Pasnik dit que les écoles disposant de ressources financières et de programmes de santé établis, ainsi que d'un engagement parental accru, sont plus susceptibles d'avoir des conversations sur le problème. Mais dans les écoles où le soutien global est moindre, elle s’attend à ce que les élèves se retrouvent sans enseignement connexe.

« Dans certains contextes, les enfants grandissent en pensant, au moins pendant un certain temps, que ce n'est pas grave », explique Pasnik.

Pour contrer cela, elle recommande aux adultes des communautés scolaires de recruter les élèves comme partenaires dans des conversations qui explorent et établissent des normes en relation avec la technologie deepfake. Ces discussions devraient porter sur ce à quoi ressemblent les limites saines et quels comportements sont interdits.

Une grande partie de cela est peut-être déjà claire dans le code de conduite d'une école, mais ces règles devraient être mises à jour pour interdire l'utilisation de la technologie deepfake, ainsi que pour établir les conséquences si elle est déployée contre les étudiants, le personnel et les enseignants.

Pasnik recommande aux éducateurs de rechercher également des occasions de parler de la technologie deepfake dans les programmes d'études existants, comme dans le contenu lié à la vie privée, à la participation civique, à l'éducation et à la production médiatiques.

Elle espère que le ministère américain de l'Éducation, en plus des agences d'État qui supervisent l'éducation, publiera des directives que les écoles pourront suivre, mais estime que ce serait une « erreur » de penser qu'une telle orientation « peut résoudre ce défi » à elle seule.

Dodge pense également que ces recommandations pourraient faire une différence cruciale alors que les écoles peinent à tracer la voie à suivre. Il soutient néanmoins que les écoles devront être la source fiable qui instruit les étudiants sur la technologie deepfake, au lieu de leur permettre d’en entendre parler sur Internet ou dans des publicités ciblées.

Deepfakes explicites à l’école : « L’histoire se répète »

La situation difficile à laquelle les écoles sont aujourd'hui confrontées semble familière à ceux qui ont vu la cyberintimidation submerger les enseignants qui ne peuvent empêcher le harcèlement et les conflits entre élèves de devenir incontrôlables.

« Je crains vraiment que l'histoire ne se répète », déclare Randi Weingarten, présidente de la Fédération américaine des enseignants.

Le syndicat, qui compte 1,7 million de membres, a fait pression sur les plus grandes plateformes de médias sociaux pour lutter contre la cyberintimidation en mettant en œuvre des fonctionnalités nouvelles ou plus robustes, comme la suppression des comptes présentant principalement du contenu intimidant. L'AFT affirme que la cyberintimidation contribue à l'épuisement professionnel des enseignants, en plus de détériorer le climat scolaire.

Weingarten affirme qu’empêcher les deepfakes explicites de jouer un rôle similaire nécessitera une réponse de la part des entreprises et du gouvernement, au-delà de ce que les écoles et leurs communautés peuvent affronter.

Une nouvelle collaboration dirigée par l'organisation All Tech is Human et Thorn, une organisation à but non lucratif qui développe des technologies pour défendre les enfants contre les abus sexuels, pourrait aider à atteindre cet objectif. L'initiative rassemble Google, Meta, Microsoft, Amazon, OpenAI et d'autres grandes entreprises technologiques dans le but de mettre un terme à la création et à la diffusion de matériels d'abus sexuels sur enfants générés par l'IA, y compris les deepfakes explicites, et d'autres préjudices sexuels contre des enfants.

Le Dr Rebecca Portnoff, vice-présidente de la science des données chez Thorn, a déclaré à Indigo Buzz dans un e-mail que les entreprises se sont engagées à empêcher leurs services de « développer l'accès à des outils nuisibles ».

« S'ils procèdent ainsi et poursuivent leur propre implication de cette manière, alors en théorie, ces applications seraient interdites », a écrit Portnoff, faisant référence aux applications que n'importe qui, y compris les étudiants, peut utiliser pour créer un deepfake explicite.

Weingarten suggère également que les agences fédérales, y compris celles qui supervisent la justice pénale et l'éducation, pourraient travailler ensemble pour élaborer des lignes directrices visant à garantir la sécurité et la confidentialité des étudiants.

Elle estime que la création de contenu deepfake explicite doit avoir des conséquences financières ou pénales, avec des sanctions appropriées pour les mineurs afin qu'ils soient initialement détournés du tribunal pénal.

Mais d’abord, elle espère voir les dirigeants du gouvernement « affirmer » que les deepfakes explicites présentent un réel problème pour les étudiants du pays qui doit être résolu de toute urgence.

« Je pense que l'hésitation ici ne fera que nuire aux enfants », déclare Weingarten. « La technologie évolue clairement plus vite que la réglementation ne pourrait jamais évoluer. »