L’IA est entraînée avec des milliers d’images pédopornographiques : une étude le révèle

L’IA viene addestrata con migliaia di immagini pedopornografiche: lo rivela uno studio

Les chercheurs de l’Université de Stanford ont lancé l’alerte : les systèmes d’intelligence artificielle accèdent à des bases de données contenant des images violentes, dangereuses et illégales.

Les coulisses des systèmes d’intelligence artificielle (IA) sont opaques. Nous ne savons pas comment ils sont entraînés, et ainsi, sous des couches de données, il est possible de cacher des images de violences sexuelles sur mineurs. C’est ce que démontre une recherche du Stanford Internet Observatory, les chercheurs ont trouvé 3 200 images de pédopornographie dans la base de données de LAION (organisation à but non lucratif créant des outils open source pour l’apprentissage automatique) utilisée pour entraîner les principaux générateurs d’images tels que Stable Diffusion.

Les chercheurs de l’Université de Stanford ont travaillé avec le Canadian Centre for Child Protection et d’autres organisations caritatives de lutte contre les abus pour identifier le matériel. Ils ont trouvé plus de 1 000 images illégales. « Lors d’un contrôle du LAION‐400M, les développeurs d’Imagen ont trouvé un large éventail de contenus inappropriés, dont des images pornographiques, des insultes racistes et des stéréotypes sociaux préjudiciables », indique la recherche. En réalité, il ne s’agit que d’une fraction de l’ensemble de LAION, qui contient 5,8 milliards d’images, et pourtant selon les chercheurs, ces données sont suffisantes pour influencer l’intelligence artificielle qui pourrait produire des résultats dangereux.

Comment aborder le problème

Il existe déjà des limites, Bing de Microsoft, Midjourney ou Dall-E 3 de OpenAI ont des filtres qui empêchent la reproduction de nus, de scènes sexuelles explicites et de contenus pédopornographiques, pourtant plusieurs utilisateurs ont réussi à contourner les systèmes de sécurité. Lors d’un test, par exemple, nous avons démontré qu’il était plutôt facile de transformer ChatGPT en un bot raciste. De plus, les logiciels sont également capables de déshabiller un enfant à partir d’une photo. Pensez simplement au cas BikiniOff, l’application qui génère des images de nudité artificielle extrêmement réalistes. Il est donc essentiel d’éliminer toute source dangereuse des données utilisées par l’IA.

Pourtant, nettoyer les plateformes est un travail difficile et laborieux, c’est pourquoi les chercheurs du Stanford Internet Observatory ont demandé des mesures plus drastiques. Parmi celles-ci, « supprimer ou travailler avec des intermédiaires pour nettoyer le matériel » et faire disparaître du monde souterrain d’Internet toutes les images dangereuses, violentes et offensantes.

Le commentaire de LAION

Après la publication de la recherche, LAION a déclaré qu’il supprimerait temporairement ses ensembles de données. Il a ensuite ajouté : « Nous avons une politique de tolérance zéro pour les contenus illégaux et nous travaillons avec beaucoup de précaution, nous avons supprimé les ensembles de données de LAION pour nous assurer qu’ils sont sûrs avant de les republier. »

LAION a déjà développé des « filtres rigoureux » pour détecter et supprimer les contenus illégaux avant de publier ses ensembles de données, mais a déclaré qu’il travaillerait à améliorer le système.