Les systèmes d’IA, notamment ChatGPT, de plus en plus populaire, pourraient aider les pirates informatiques à lancer des cyberattaques sur les réseaux informatiques, prévient une nouvelle étude.
Des chercheurs du département d’informatique de l’université de Sheffield ont identifié comment les systèmes Text-to-SQL – des IA conçues pour effectuer des recherches dans des bases de données à l’aide de requêtes en langage simple – peuvent être exploités dans le cadre de cybercriminalités réelles. Ces résultats mettent en lumière la manière dont les systèmes d’IA peuvent être manipulés pour accéder à des informations sensibles, falsifier des bases de données ou lancer des attaques par déni de service.
Sur les six outils d’IA commerciaux évalués – ChatGPT , BAIDU-UNIT, AI2SQL, AIHELPERBOT, Text2SQL et ToolSKE – se sont tous révélés présenter des vulnérabilités de sécurité. En posant des questions précises à ces plateformes, les chercheurs pourraient les amener à générer du code malveillant . Une fois exécuté, ce code pourrait perturber les services de base de données, divulguer des données confidentielles ou même détruire la base de données. Par exemple, sur Baidu-UNIT, une application chinoise de personnalisation des dialogues, l’équipe a obtenu des configurations de serveur confidentielles et a même mis un nœud de serveur hors ligne.
« À l’heure actuelle, ChatGPT reçoit beaucoup d’attention. Il s’agit d’un système autonome, donc les risques pour le service lui-même sont minimes, mais nous avons découvert qu’il peut être amené à produire du code malveillant susceptible de nuire gravement à d’ autres services », explique Xutan Peng, titulaire d’un doctorat. étudiant à l’Université de Sheffield et co-responsable de la recherche, dans un communiqué universitaire .
L’une des principales préoccupations soulevées par l’étude est l’utilisation d’ outils d’IA comme ChatGPT pour la productivité.
« Par exemple, une infirmière pourrait demander à ChatGPT d’écrire une commande SQL afin de pouvoir interagir avec une base de données , telle qu’une base de données qui stocke les dossiers cliniques. Comme le montre notre étude, le code SQL produit par ChatGPT peut dans de nombreux cas nuire à une base de données, de sorte que l’infirmière dans ce scénario peut provoquer de graves erreurs de gestion des données sans même recevoir d’avertissement », explique Peng.
L’étude révèle également de potentielles attaques dérobées sur les modèles Text-to-SQL, comme l’intégration d’un « cheval de Troie » en contaminant les données d’entraînement.
« Les utilisateurs de systèmes Text-to-SQL doivent être conscients des risques potentiels mis en évidence dans ces travaux. Les grands modèles de langage , comme ceux utilisés dans les systèmes Text-to-SQL, sont extrêmement puissants, mais leur comportement est complexe et peut être difficile à prédire », prévient le Dr Mark Stevenson de l’Université de Sheffield.
Reconnaissant l’importance de l’étude, Baidu, une plateforme chinoise, a jugé les vulnérabilités extrêmement dangereuses. Suite aux résultats, Baidu a résolu les problèmes et a récompensé l’équipe de recherche pour ses efforts pionniers.
Les chercheurs soulignent la nécessité d’une approche collaborative en matière de cybersécurité , exhortant les scientifiques à travailler collectivement au sein des communautés open source pour atténuer les risques.
« Les attaquants développeront toujours des stratégies plus avancées , ce qui signifie que les stratégies de sécurité doivent suivre le rythme. Pour ce faire, nous avons besoin d’une nouvelle communauté pour lutter contre ces attaques de nouvelle génération », conclut Peng.
L’étude a été présentée au Symposium international sur l’ingénierie de la fiabilité logicielle ( ISSRE ) à Florence, en Italie.
Traduit et partagé par les Chroniques d'Arcturius
- POSER UN GESTE D'AMOUR -
Une contribution volontaire
aide véritablement à maintenir ce site ouvert
et ainsi vous devenez un Gardien Passeurs en action.
CLIQUEZ ICI POUR CONTRIBUER
Merci
Texte partagé par les Chroniques d'Arcturius - Au service de la Nouvelle Terre
