Un expert en sécurité tire la sonnette d’alarme sur les rapports de bugs générés par l’IA, considérés comme des « spams » nuisibles qui perturbent le développement open-source. L’augmentation de ces rapports de faible qualité complique le travail des mainteneurs, qui sont appelés à se méfier de cette tendance déstabilisante.
Oops: Les services d’IA générative ne sont ni intelligents ni capables d’apporter une contribution significative aux efforts de développement open-source. Un expert en sécurité, exaspéré par les signalements de bugs « spams » et hallucinés, exprime sa frustration et demande à la communauté FOSS d’éviter les rapports générés par l’IA.
Les modèles d’IA générative se sont déjà révélés être des outils puissants dans les mains de cyber-criminels et de fraudeurs. Cependant, ces escrocs peuvent également les utiliser pour inonder les projets open-source de rapports de bugs inutiles. Selon Seth Larson, le nombre de rapports de sécurité « extrêmement » de mauvaise qualité, spammés et hallucinés par des LLM a récemment augmenté, forçant les mainteneurs à perdre leur temps sur des éléments de faible valeur intellectuelle.
Larson est un développeur en sécurité à la Pythons Software Foundation, qui fait également partie d’équipes de « triage » chargées de vetter les rapports de sécurité pour des projets open-source populaires tels que CPython, pip, urllib3, Requests, et d’autres. Dans un récent article de blog, le développeur dénonce une nouvelle tendance problématique des rapports de sécurité bâclés créés avec des systèmes d’IA générative.
Ces rapports d’IA sont insidieux car ils apparaissent comme potentiellement légitimes et dignes d’être examinés. Comme l’ont déjà souligné Curl et d’autres projets, ce ne sont que des choses mal formulées qui semblent mieux, mais qui demeurent des déchets. Des milliers de projets open-source sont touchés par ce problème, tandis que les mainteneurs ne sont pas encouragés à partager leurs découvertes en raison de la nature sensible des développements liés à la sécurité.
« Si cela arrive à quelques projets que je surveille, alors je soupçonne que cela se produit à grande échelle dans les projets open-source », a déclaré Larson.
Les rapports hallucinés gaspillent le temps des mainteneurs bénévoles et entraînent confusion, stress et frustration. Larson a suggéré que la communauté devrait considérer ces rapports d’IA de mauvaise qualité comme malveillants, même si ce n’est pas l’intention originale des expéditeurs.
Il a donné des conseils précieux aux plateformes, aux rapporteurs et aux mainteneurs qui doivent faire face à une augmentation de ces rapports hallucinés par l’IA. La communauté devrait utiliser des CAPTCHA et d’autres services anti-spam pour prévenir la création automatisée de rapports de sécurité. Pendant ce temps, les rapporteurs de bugs ne devraient pas utiliser de modèles d’IA pour détecter les vulnérabilités de sécurité dans les projets open-source.
Les grands modèles de langage ne comprennent rien au code. Trouver de véritables failles de sécurité nécessite de traiter des « concepts de niveau humain » tels que l’intention, l’utilisation commune et le contexte. Les mainteneurs peuvent se sauver de nombreux ennuis en répondant aux rapports d’IA apparents avec le même effort que celui déployé par les expéditeurs d’origine, qui est « proche de zéro ».
Larson reconnaît que de nombreux rapporteurs de vulnérabilités agissent de bonne foi et fournissent généralement des rapports de haute qualité. Cependant, une « majorité croissante » de rapports de faible effort et de mauvaise qualité nuit à tout le monde impliqué dans le développement.