Une récente découverte met en lumière des failles de sécurité préoccupantes affectant des milliers d’organisations et de géants technologiques, exposant des données sensibles via des services de chatbots. Cette vulnérabilité, décelée par des chercheurs israéliens, souligne les risques liés à l’usage non régulé de l’intelligence artificielle.
Oops : Former de nouveaux modèles d’IA améliorés nécessite d’énormes quantités de données, et les bots scannent constamment l’internet à la recherche d’informations précieuses pour alimenter les systèmes d’IA. Cependant, cette approche largement non régulée peut poser de graves risques de sécurité, en particulier lorsqu’il s’agit de données sensibles.
Des services de chatbot populaires comme Copilot et ChatGPT pourraient théoriquement être exploités pour accéder à des dépôts GitHub que leurs propriétaires ont définis comme privés. Selon la société de sécurité israélienne Lasso, cette vulnérabilité est très réelle et concerne des dizaines de milliers d’organisations, de développeurs et de grandes entreprises technologiques.
Les chercheurs de Lasso ont découvert le problème en constatant que du contenu de leur propre dépôt GitHub était accessible via Copilot de Microsoft. Le co-fondateur de l’entreprise, Ophir Dror, a révélé que le dépôt avait été accidentellement rendu public pendant une courte période, durant laquelle Bing a indexé et mis en cache les données. Même après que le dépôt ait été remis en privé, Copilot était toujours capable d’accéder et de générer des réponses basées sur son contenu.
“Si je parcourais le web, je ne verrais pas ces données. Mais quiconque dans le monde pourrait poser la bonne question à Copilot et obtenir ces données,” a expliqué Dror.
Après avoir subi la violation de données en personne, Lasso a mené une enquête plus approfondie. L’entreprise a découvert que plus de 20 000 dépôts GitHub qui avaient été définis comme privés en 2024 étaient encore accessibles via Copilot.
Lasso a rapporté que plus de 16 000 organisations ont été touchées par cette violation de sécurité générée par l’IA. Le problème a également impacté de grandes entreprises technologiques, notamment IBM, Google, PayPal, Tencent, Microsoft et Amazon Web Services. Bien qu’Amazon ait nié être affecté, Lasso aurait été soumis à des pressions de la part de l’équipe juridique d’AWS pour retirer toute mention de l’entreprise de ses conclusions.
Les dépôts GitHub privés qui demeuraient accessibles via Copilot contenaient des données très sensibles. Les cybercriminels et autres acteurs malveillants pourraient potentiellement manipuler le chatbot pour révéler des informations confidentielles, y compris des droits de propriété intellectuelle, des données d’entreprise, des clés d’accès et des jetons de sécurité. Lasso a alerté les organisations qui ont été « sévèrement » touchées par la violation, les conseillant de changer ou révoquer toute information d’identification de sécurité compromise.
L’équipe de sécurité israélienne a informé Microsoft de la violation en novembre 2024, mais Redmond a classé cela comme un problème de « faible gravité ». Microsoft a décrit le problème de mise en cache comme un « comportement acceptable », bien que Bing ait retiré les résultats de recherche mis en cache liés aux données affectées en décembre 2024. Cependant, Lasso a averti que même après la désactivation du cache, Copilot conserve toujours les données dans son modèle d’IA. L’entreprise a maintenant publié ses résultats de recherche.