Les acteurs malveillants de TikTok utilisent l'IA pour produire de la désinformation politique, selon un nouveau rapport

L’essor de la ferme de contenu IA de TikTok.

L'appât à vues TikTok a été stimulé par l'IA au cours de l'année dernière, y compris le contenu diffusant des faussetés politiques avant les élections, selon de nouvelles données de l'organisme de surveillance de la désinformation NewsGuard.

Dans un nouveau rapport détaillant l'utilisation d'outils d'IA parmi les acteurs malveillants de TikTok, l'organisation a découvert au moins 41 comptes TikTok publiant du contenu faux, amélioré par l'IA, en anglais et en français. Entre mars 2023 et juin 2024, les comptes ont publié 9 784 vidéos totalisant plus de 380 millions de vues, soit en moyenne une à quatre vidéos racontées par l'IA chaque jour. De nombreuses vidéos utilisaient des scripts identiques, ce qui laisse penser à un effort coordonné. Plusieurs des comptes étaient également éligibles à la monétisation de leurs vidéos, dans le cadre du Fonds des créateurs de TikTok.

Une grande partie du contenu comprenait des essais ou des vidéos de type faits amusants partageant de faux récits sur la politique américaine et européenne et sur la guerre entre la Russie et l'Ukraine, a expliqué NewsGuard, comme l'affirmation erronée selon laquelle l'OTAN avait déployé des troupes de combat en Ukraine et que les États-Unis étaient derrière l'attaque terroriste du Crocus City Hall de mars à Moscou.

La recherche a été menée en partenariat avec l’outil de détection d’IA TrueMedia.org.

L’année dernière, NewsGuard a documenté l’essor d’un petit réseau de comptes TikTok utilisant des outils de synthèse vocale assistés par l’IA pour diffuser des théories du complot sur les célébrités. Les vidéos de courte durée utilisaient l’IA pour générer instantanément une narration et des voix supplémentaires dans une masse de vidéos partageant de fausses informations. Au total, les comptes ont recueilli 336 millions de vues et 14,5 millions de likes en l’espace de trois mois.

Le dernier rapport montre une augmentation substantielle du contenu similaire optimisé par l'IA sur l'application, cette fois avec des motivations politiques. Cette tendance laisse entrevoir une ferme de contenu IA de plus en plus incitée et croissante sur l'application – définie par l'organisation comme « des entités qui génèrent de gros volumes de contenu de faible qualité, généralement pour attirer des vues et des revenus publicitaires ».

La diffusion de fausses informations facilitée par l'IA n'est pas passée inaperçue sur TikTok, qui s'est engagée à étiqueter plus efficacement et même à filigraner le contenu à l'aide de l'IA générative. Mais la désinformation politique, soutenue par l'efficacité des fonctionnalités de l'IA, a continué de proliférer.

Le 9 juillet, le ministère de la Justice a annoncé avoir identifié et démantelé une ferme de robots russes alimentée par l'IA, qui gérait au moins 1 000 comptes pro-Kremlin sur X (anciennement Twitter) et était soutenue par le successeur du KGB russe. Quelques mois auparavant, OpenAI avait annoncé avoir fermé les comptes d'acteurs étatiques étrangers confirmés qui tentaient d'utiliser sa technologie d'IA pour soutenir d'éventuelles cyberattaques.

Les États-Unis eux-mêmes ont exploité la technologie de l’IA et les fermes de robots pour diffuser leurs propres contre-récits et même des campagnes de désinformation pure et simple, y compris une initiative de 2020 visant à limiter l’influence étrangère en diffusant de fausses informations sur le COVID-19.

À l’approche des élections (et alors que la participation électorale et la confiance des candidats sont remises en question), les organismes de surveillance et les défenseurs continuent de surveiller à la fois la désinformation ciblée et la désinformation renforcée par l’IA diffusée sur les plateformes de médias sociaux.