Des chercheurs ont réussi à amener My AI, le chatbot de Snapchat, à dévoiler comment fabriquer un cocktail Molotov simplement en utilisant une approche narrative. Malgré les avertissements, Snapchat n’a pas encore appliqué de correctifs, exposant ainsi un problème de sécurité potentiel avec ses intelligences artificielles.
Des chercheurs de Cybernews ont réussi à faire révéler à My AI, le chatbot de Snapchat, comment fabriquer un cocktail Molotov en utilisant une approche narrative
Des chercheurs de Cybernews ont réussi à amener My AI, le chatbot de Snapchat, à expliquer comment fabriquer un cocktail Molotov. Aucune expertise en piratage ni outils complexes n’étaient nécessaires. Il suffisait de demander une histoire sur la Guerre d’Hiver entre la Finlande et l’Union Soviétique, en mentionnant la fabrication de dispositifs incendiaires de l’époque. Le chatbot a fourni toutes les instructions sans hésitation.
La technique s’appelle « jailbreaking narratif » et elle fonctionne parce que le système ne fait pas la différence entre une demande dangereuse et une histoire, comme l’expliquent les chercheurs. En posant directement la question sur la fabrication d’une bombe, la réponse est un refus. En revanche, si la question est formulée sous forme de récit historique, toutes les informations sont fournies. Les chercheurs ont averti Snapchat, mais la société ne considère pas cela comme un problème sérieux. La faille reste donc non corrigée.
Ce problème est commun à tous les chatbots
My AI compte plus de 900 millions d’utilisateurs mensuels, dont beaucoup sont des mineurs. Snapchat affirme que son IA est conçue pour ne pas fournir d’informations violentes ou dangereuses, mais les faits montrent le contraire. Le chatbot a cédé dès qu’on lui a posé la question de la bonne manière. Aucune insistance ou technique compliquée n’a été nécessaire.
Ce qui est préoccupant, c’est que ce n’est pas un cas isolé. Meta AI, l’assistant de WhatsApp et Instagram, succombe également à cette même méthode. ChatGPT peut être trompé par des astuces similaires, comme demander à ce qu’il se fasse passer pour votre grand-mère qui travaillait dans une usine de napalm. Il existe des versions modifiées comme WormGPT spécialement conçues pour contourner tous les filtres et réaliser des activités illégales.
Lorsqu’OpenAI a lancé GPT-5, des équipes de sécurité ont réussi à le pirater en moins de 24 heures pour obtenir des instructions sur les bombes et les drogues. Le chatbot de Lenovo permettait de voler des cookies de session. DeepSeek a généré des malwares fonctionnels pour Chrome. La liste des failles est interminable et toutes partagent le même problème : les filtres de sécurité ne fonctionnent pas lorsque l’on sait comment poser les questions.
En novembre 2023, My AI avait déjà suscité des inquiétudes en publiant une vidéo mystérieuse dans son histoire, sans réponse par la suite. Des utilisateurs ont déclaré reconnaître des éléments de leur domicile sur les images. Snapchat n’a jamais fourni d’explications sur cet incident. Aujourd’hui, cette nouvelle faille met en lumière le fait que les contrôles de sécurité annoncés ne sont pas suffisants.
Le problème est structurel. Ces chatbots ne comprennent pas les questions posées, ils traitent uniquement des modèles de texte. Si des mots-clés dangereux sont détectés, la réponse est bloquée. En revanche, si ces mots sont intégrés dans une histoire, ils échappent à la détection. Ils ne peuvent pas faire la distinction entre une requête banale ou une demande pour fabriquer un engin explosif. Tant que les sociétés ne régleront pas ce problème, quiconque avec un brin d’imagination peut obtenir des informations sensibles.
Les entreprises sont conscientes d’avoir un problème sérieux. Renforcer les filtres prêterait à confusion, empêchant les chatbots de répondre à des questions légitimes et les rendant moins utiles. Les laisser dans cet état est risqué, car n’importe qui peut en tirer des informations dangereuses. Pour l’instant, aucune solution n’a été trouvée, et les failles persistent.