OpenAI a récemment annoncé avoir perturbé trois clusters d’activités malveillantes utilisant ChatGPT pour faciliter le développement de logiciels malveillants. Ces initiatives provenaient principalement de hackers russes, nord-coréens et chinois. L’objectif des acteurs malveillants était de tirer parti des capacités de l’intelligence artificielle pour concevoir des outils d’accès à distance et des programmes de vol de données, contournant ainsi les défenses classiques des systèmes informatiques.
Cluster Russe: Exploitation de ChatGPT?
Le premier cluster identifié concernait un acteur de langue russe. Celui-ci utilisait ChatGPT pour développer et affiner un cheval de Troie d’accès à distance (RAT) et un voleur d’identifiants capable d’échapper à la détection. Plusieurs comptes ChatGPT ont été exploités pour prototyper et résoudre des composants techniques permettant le post-exploitation et le vol de données.
Bien que les modèles d’OpenAI aient refusé les requêtes directes de création de contenus malveillants, l’acteur a contourné cette limitation en générant du code élémentaire assemblé ensuite pour créer des workflows complets. Ce code comprenait notamment des outils d’obfuscation, de surveillance du presse-papiers et des utilitaires permettant d’exfiltrer des données via un bot Telegram. Il est important de préciser que ces codes ne sont pas intrinsèquement malveillants individuellement.
Techniques et sophistication?
Les demandes de l’acteur variaient en sophistication. Certaines nécessitaient une expertise approfondie sur Windows et un débogage itératif, tandis que d’autres automatisaient des tâches plus simples comme la génération massive de mots de passe. Les comptes ChatGPT utilisés ont suivi un schéma de développement continu, plutôt qu’une expérimentation occasionnelle.
Cluster Nord-Coréen: Campagnes de Phishing et Malware?
Le second cluster provenait de Corée du Nord, ciblant notamment les missions diplomatiques en Corée du Sud à travers des campagnes de spear-phishing pour livrer le Xeno RAT. ChatGPT a été utilisé pour développer des malwares et des outils de commande et contrôle (C2). Les acteurs ont travaillé sur des extensions Finder pour macOS, configuré des VPN Windows Server et converti des extensions Chrome vers Safari.
Utilisations avancées?
Ces acteurs ont aussi exploité ChatGPT pour rédiger des emails de phishing, tester des services cloud et des fonctions GitHub, et explorer des techniques comme le chargement DLL, l’exécution en mémoire, le hooking de l’API Windows et le vol d’identifiants.
Cluster Chinois: Phishing sur l’Industrie des Semi-conducteurs?
Le troisième cluster était lié à un groupe chinois identifié par Proofpoint comme UNK_DropPitch ou UTA0388. Ce groupe ciblait des entreprises d’investissement majeures, notamment dans l’industrie des semi-conducteurs à Taïwan, en livrant un backdoor nommé HealthKick (GOVERSHELL). Les comptes ChatGPT ont servi à générer du contenu pour le phishing en anglais, chinois et japonais, et à accélérer l’exécution de tâches telles que l’exécution à distance et la protection du trafic via HTTPS.
Compétences techniques?
OpenAI a décrit ce groupe comme techniquement compétent mais peu sophistiqué. Leur utilisation de l’IA leur a permis d’augmenter l’efficacité de workflows déjà existants sans recourir à des méthodes innovantes hors des capacités classiques.
Autres Activités Malveillantes Bloquées?
En dehors de ces trois clusters principaux, OpenAI a également bloqué des comptes liés à des escroqueries et des opérations d’influence:
- Réseaux d’escroquerie probablement originaires du Cambodge, Myanmar et Nigeria, utilisant ChatGPT pour traductions, rédaction de messages et création de contenus pour promouvoir des arnaques d’investissement.
- Comptes liés à des entités chinoises, utilisés pour surveiller des individus et analyser les données des réseaux sociaux occidentaux ou chinois, notamment concernant les minorités ethniques comme les Ouïghours.
- Acteurs russes liés à Stop News, générant des contenus et vidéos pour les réseaux sociaux critiquant les rôles de la France et des États-Unis en Afrique et promouvant des narratives anti-Ukraine.
- Opération d’influence chinoise, codée Nine—emdash Line, créant des contenus critiques envers le président des Philippines et des publications sur l’impact environnemental du Vietnam et le mouvement pro-démocratie à Hong Kong.
Adaptation des Tactiques des Acteurs?
Les rapports montrent que les acteurs malveillants adaptent leurs tactiques pour supprimer toute indication que le contenu a été généré par une IA. Par exemple, certains ont demandé à ChatGPT de retirer les tirets cadratins (—), souvent considérés comme un indicateur d’utilisation d’IA.
Initiatives en Matière de Sécurité AI?
Dans le même temps, la société Anthropic a publié Petri, un outil d’audit open-source, pour accélérer la recherche en sécurité de l’IA et mieux comprendre le comportement des modèles sur diverses catégories comme la tromperie, l’adulation, l’encouragement aux illusions des utilisateurs et la coopération avec des requêtes nuisibles. Petri automatise des tests multi-tours sur des IA cibles afin de détecter les comportements risqués et filtrer les résultats les plus pertinents.
Conclusion: Une Vigilance Renforcée?
Ces actions démontrent la complexité croissante des menaces liées à l’IA et la nécessité pour les fournisseurs de technologies de bloquer les abus potentiels tout en maintenant l’accès légitime. OpenAI souligne que son intervention a permis de réduire l’impact de ces cyberattaques et d’améliorer la sécurité générale des systèmes numériques, tout en incitant à un usage plus responsable des intelligences artificielles.