OpenAI met fin aux comptes des mauvais acteurs confirmés affiliés à l’État

Les licenciements font partie de ce que l’on appelle un « effort de détection précoce ».

OpenAI a confirmé que de mauvais acteurs affiliés à l’État utilisent la technologie de l’entreprise à des fins malveillantes, une validation de ce que beaucoup craignaient depuis la montée en puissance de l’entreprise dans la course à l’IA générative.

Cette découverte fait partie d’une collaboration avec Microsoft Threat Intelligence, une communauté de milliers d’experts en sécurité, de chercheurs et de chasseurs de menaces qui analysent et détectent les cybermenaces.

Grâce à la collecte de renseignements du réseau, OpenAI a découvert au moins cinq acteurs confirmés affiliés à l’État qui utilisaient les services OpenAI pour interroger des informations open source, traduire, trouver des erreurs de codage et exécuter des tâches de codage de base, a expliqué la société. Les acteurs comprenaient deux acteurs affiliés à la Chine connus sous le nom de Charcoal Typhoon et Salmon Typhoon ; un acteur affilié à l’Iran connu sous le nom de Crimson Sandstorm ; un acteur affilié à la Corée du Nord connu sous le nom d’Emerald Sleet ; et un acteur affilié à la Russie connu sous le nom de Forest Blizzard.

Les comptes s’appuieraient sur les services d’OpenAI pour renforcer les cyberattaques potentielles, mais Microsoft n’a détecté aucune utilisation significative des LLM les plus surveillés.

« Celles-ci incluent la reconnaissance, comme la connaissance des secteurs, des emplacements et des relations des victimes potentielles ; l’aide au codage, y compris l’amélioration de choses comme les scripts de logiciels et le développement de logiciels malveillants ; et l’aide à l’apprentissage et à l’utilisation des langues natives », a expliqué Microsoft. « La prise en charge linguistique est une caractéristique naturelle des LLM et est attrayante pour les acteurs de la menace qui se concentrent continuellement sur l’ingénierie sociale et d’autres techniques reposant sur des communications fausses et trompeuses adaptées aux emplois, aux réseaux professionnels et à d’autres relations de leurs cibles. »

Microsoft a qualifié cette annonce d’effort de détection précoce, destiné à révéler « les mouvements progressifs précoces que nous observons tenter par des acteurs malveillants bien connus ».

Cette collaboration s’aligne sur les récentes mesures prises par la Maison Blanche pour exiger des tests de sécurité et une supervision gouvernementale pour les systèmes d’IA qui pourraient avoir un impact sur la sécurité nationale et économique, la santé publique et la sécurité générale. « Même si les attaquants resteront intéressés par les capacités et les contrôles de sécurité actuels des technologies d’IA et de sonde, il est important de garder ces risques dans leur contexte. Comme toujours, des pratiques d’hygiène telles que l’authentification multifacteur (MFA) et les défenses Zero Trust sont essentielles car les attaquants peuvent utiliser l’IA.  » des outils basés sur des outils pour améliorer leurs cyberattaques existantes qui reposent sur l’ingénierie sociale et la recherche d’appareils et de comptes non sécurisés. « 

Même si OpenAI admet que ses modèles actuels sont limités dans leur capacité à détecter les cyberattaques, l’entreprise s’est engagée à investir dans de futurs investissements en matière de sécurité, notamment :

• Investissements dans la technologie et les équipes, y compris ses équipes de renseignement et d’enquêtes et de sûreté, sécurité et intégrité, pour détecter les menaces.

• Collaborations avec des partenaires industriels et d’autres parties prenantes pour échanger des informations sur les utilisations malveillantes.

• Rapport public continu sur les menaces de sécurité et les solutions.

« Bien que nous nous efforcions de minimiser les abus potentiels par de tels acteurs, nous ne pourrons pas arrêter chaque cas », a écrit OpenAI. « Mais en continuant à innover, à enquêter, à collaborer et à partager, nous faisons en sorte qu’il soit plus difficile pour les acteurs malveillants de ne pas être détectés dans l’écosystème numérique et améliorons l’expérience de tous. »