Desinformez-vous sur une vulnérabilité récente de l’IA qui pourrait transformer vos courriels en pièges invisibles. Les hackers exploitent une faille de Google, révélant comment des messages frauduleux échappent aux filtres de sécurité traditionnels. Il est crucial de comprendre ce danger pour protéger vos informations personnelles.
Les cybercriminels ont découvert comment insérer des instructions cachées dans des e-mails que Gemini interprète lors de la génération de résumés, créant des messages frauduleux invisibles
Une faille dans Google Gemini for Workspace permet aux attaquants d’insérer des instructions cachées dans les e-mails que l’IA interprète lors de la génération de résumés. Les hackers ont découvert qu’ils peuvent insérer des ordres invisibles qui franchissent tous les filtres de sécurité et ne s’activent que lorsque l’utilisateur demande un résumé. Les e-mails paraissent tout à fait normaux jusqu’à ce que Gemini traite les instructions malveillantes.
Marco Figueroa, chercheur chez Mozilla, explique dans Android Headlines comment fonctionne cette tactique. Les attaquants insèrent du texte en format HTML et CSS qui définit la taille de la police à zéro et la couleur en blanc, ce qui le rend invisible pour l’œil humain mais parfaitement lisible pour l’IA.
La mécanique de l’attaque invisible
Le problème réside dans le fait que Gemini ne fait pas la distinction entre le texte visible et invisible lors du traitement des instructions de résumé. Les attaquants insèrent des commandes secrètes que l’IA exécute lorsque l’utilisateur demande un résumé de l’e-mail. Ces commandes peuvent générer des messages frauduleux sollicitant des données personnelles, des paiements urgents ou des mises à jour de mots de passe, le tout présenté comme une information légitime de l’expéditeur d’origine.
Ce qui est particulièrement inquiétant, c’est que les e-mails passent tous les filtres de sécurité. Ne contenant pas de liens suspects ni de pièces jointes, Gmail les considère comme sûrs et les livre normalement. Ce n’est que lorsque la fonction de résumé est activée que l’IA traite les instructions malveillantes et génère du contenu frauduleux.
Figueroa et son équipe ont réussi à créer des e-mails qui semblent totalement normaux mais qui, lorsqu’ils sont résumés par Gemini, affichent des messages tels que « Urgent : mettez à jour votre mot de passe maintenant » ou « Paiement en attente : cliquez ici pour éviter des frais ». Ces messages profitent de la confiance que les utilisateurs accordent aux outils d’IA pour présenter des informations prétendument traitées et révélées.
Google déclare n’avoir détecté aucun cas réel de ce type d’attaques sur sa plateforme, bien qu’il reconnaisse l’existence de la faille. La société affirme renforcer continuellement ses défenses grâce à des simulations d’attaques, et ses modèles d’IA sont conçus pour se défendre contre des manipulations adverses de ce type.
Les experts en sécurité avertissent que la technique pourrait rapidement se généraliser une fois mise en lumière. Le fait qu’elle fonctionne spécifiquement avec des outils d’IA générative suggère que des vulnérabilités similaires pourraient exister sur d’autres plateformes utilisant des technologies analogues pour traiter et résumer le contenu.
Nous faisons face à un problème plus large. Bien que les outils d’IA offrent des avantages tels que la capacité à résumer des e-mails et à augmenter la productivité, ils ouvrent aussi de nouvelles failles de sécurité qui nécessitent des approches totalement différentes.
Mesures de protection pour les utilisateurs
La vulnérabilité se déclenche lorsqu’on demande à Gemini de résumer une chaîne de courriels
Pour l’instant, les utilisateurs de Gemini for Workspace doivent prendre des précautions supplémentaires lorsqu’ils travaillent avec des résumés de courriels. Il est essentiel de vérifier l’authenticité de toute demande urgente ou inhabituelle, même si elle semble provenir de contacts connus, surtout lorsque l’information émane d’un résumé généré par IA.
Les experts recommandent d’éviter de cliquer sur les liens suggérés par les résumés d’IA, notamment lorsqu’ils demandent des actions comme mettre à jour des mots de passe, effectuer des paiements ou télécharger des fichiers. Il est également important de signaler tout e-mail suspect à votre fournisseur de services de messagerie pour aider à améliorer les systèmes de détection.
Cette faille vient s’ajouter aux types d’escroqueries en ligne que Google a identifiés comme prioritaires. Bien que la société ait précédemment introduit des outils pour lutter contre le phishing, cette nouvelle technique constitue un défi totalement différent nécessitant des solutions spécifiques aux environnements d’IA.
Chaque fois qu’une nouvelle technologie émerge, les hackers trouvent des moyens de l’exploiter. Les améliorations annoncées lors de Google I/O 2024 pour Gemini, incluant des capacités de résumé améliorées, ont également élargi les possibilités d’attaques pour les cybercriminels.
Il est clair que nous avons besoin de protocoles de sécurité spécifiques pour les applications d’IA générative, en particulier dans les environnements professionnels où le risque de fraude est plus élevé. Les modèles d’IA doivent inclure des mécanismes robustes pour détecter et neutraliser les tentatives de manipulation, quelque chose que Google semble développer mais qui n’est pas encore complètement résolu.
Tandis que Google améliore ses défenses et que les cybercriminels explorent de nouvelles méthodes pour exploiter les faiblesses de l’IA, entreprises et utilisateurs doivent rester vigilants. Adopter de bonnes pratiques de sécurité numérique et se tenir au courant des mises à jour de protection est essentiel pour éviter que de tels problèmes ne tournent à la catastrophe.