Les contenus pédopornographiques en ligne, boostés par l'IA, dépassent la réglementation des Big Tech

Les observateurs affirment qu'il s'agit d'une « vision austère du futur ».

L'IA générative exacerbe le problème des contenus d'abus sexuels sur mineurs en ligne (CSAM), alors que les organismes de surveillance signalent une prolifération de contenus deepfake présentant des images de vraies victimes.

Publié par l'Internet Watch Foundation (IWF) du Royaume-Uni, le rapport fait état d'une augmentation significative des images modifiées numériquement ou entièrement synthétiques montrant des enfants dans des situations explicites, avec un forum partageant 3 512 images et vidéos sur une période de 30 jours. La majorité d'entre elles étaient des jeunes filles. Les délinquants ont également été documentés en train de partager des conseils et même des modèles d'IA alimentés par des images réelles entre eux.

« Sans contrôles appropriés, les outils d’IA générative offrent aux prédateurs en ligne un terrain de jeu pour réaliser leurs fantasmes les plus pervers et les plus écœurants », a écrit Susie Hargreaves OBE, PDG de l’IWF. « Même maintenant, l’IWF commence à voir de plus en plus de ce type de matériel partagé et vendu sur des sites Web commerciaux d’abus sexuels sur mineurs sur Internet. »

Selon l'étude, les images d'abus sexuels sur mineurs modifiées par l'IA ont augmenté de 17 % depuis l'automne 2023, ainsi qu'une augmentation surprenante des contenus montrant des actes sexuels extrêmes et explicites. Ces contenus comprennent de la pornographie pour adultes modifiée pour montrer le visage d'un enfant, ainsi que des contenus d'abus sexuels sur mineurs existants édités numériquement avec l'image d'un autre enfant par-dessus.

« Le rapport souligne également la rapidité avec laquelle la technologie s’améliore dans sa capacité à générer des vidéos IA entièrement synthétiques de contenus pédopornographiques », écrit l’IWF. « Bien que ces types de vidéos ne soient pas encore suffisamment sophistiquées pour passer pour de véritables vidéos d’abus sexuels sur mineurs, les analystes affirment qu’il s’agit du « pire » résultat que puisse produire une vidéo entièrement synthétique. Les progrès de l’IA permettront bientôt de produire des vidéos plus réalistes, de la même manière que les images fixes sont devenues photo-réalistes. »

Selon les analystes de l'IWF, dans une analyse de 12 000 nouvelles images générées par l'IA et publiées sur un forum du dark web sur une période d'un mois, 90 % étaient suffisamment réalistes pour être évaluées en vertu des lois en vigueur pour un véritable CSAM.

Un autre rapport de l'organisme de surveillance britannique, publié aujourd'hui dans le Guardian, allègue qu'Apple sous-estime considérablement la quantité de contenus pédopornographiques partagés via ses produits, ce qui suscite des inquiétudes quant à la manière dont l'entreprise gérera le contenu créé avec l'IA générative. Dans son enquête, la National Society for the Prevention of Cruelty to Children (NSPCC) a comparé les chiffres officiels publiés par Apple aux chiffres recueillis grâce aux demandes d'accès à l'information.

Alors qu'Apple a signalé 267 cas d'abus d'enfants dans le monde entier au National Center for Missing and Exploited Children (NCMEC) en 2023, la NSPCC allègue que l'entreprise a été impliquée dans 337 délits d'images d'abus d'enfants rien qu'en Angleterre et au Pays de Galles – et ces chiffres ne concernent que la période entre avril 2022 et mars 2023.

Apple a refusé de commenter la demande du Guardian, en invoquant une décision antérieure de l'entreprise de ne pas analyser les bibliothèques de photos iCloud à la recherche de contenus CSAM, dans le but de donner la priorité à la sécurité et à la confidentialité des utilisateurs. Indigo Buzz a également contacté Apple et mettra à jour cet article s'il répond.

En vertu de la loi américaine, les entreprises technologiques basées aux États-Unis sont tenues de signaler les cas de CSAM au NCMEC. Google a signalé plus de 1,47 million de cas au NCMEC en 2023. Facebook, par exemple, a supprimé 14,4 millions de contenus d’exploitation sexuelle d’enfants entre janvier et mars de cette année. Au cours des cinq dernières années, l’entreprise a également signalé une baisse significative du nombre de publications signalées pour nudité et abus sur mineurs, mais les organismes de surveillance restent sur leurs gardes.

L’exploitation des enfants en ligne est notoirement difficile à combattre, les prédateurs d’enfants exploitant fréquemment les plateformes de réseaux sociaux et leurs failles de comportement pour continuer à interagir avec les mineurs en ligne. Aujourd’hui, avec la puissance accrue de l’IA générative entre les mains des acteurs malveillants, la bataille ne fait que s’intensifier.

Pour en savoir plus sur les effets de l'imagerie synthétique non consensuelle, lisez le rapport de Indigo Buzz :

• Que faire si quelqu'un fait un deepfake de vous

• Les deepfakes explicites sont traumatisants. Comment gérer la douleur.

• Les conséquences d'un deepfake non consensuel

• Les victimes de deepfakes non consensuels s'arment du droit d'auteur pour lutter contre la diffusion du contenu

• Comment empêcher les étudiants de créer des deepfakes explicites les uns des autres

Si des images intimes ont été partagées sans votre consentement, appelez la ligne d'assistance téléphonique 24h/24 et 7j/7 de la Cyber ​​Civil Rights Initiative au 844-878-2274 pour obtenir une assistance gratuite et confidentielle. Le site Web du CCRI contient également des informations utiles ainsi qu'une liste de ressources internationales.