Des vidéos générées par intelligence artificielle montrant des fruits et légumes commettant des actes de violence sanglants propagent des discours extrémistes sur TikTok. Des chercheurs mettent en garde contre un « potentiel de radicalisation » pour les jeunes utilisateurs.
Le Global Network on Extremism and Technology (GNET) affirme que ces clips contournent les politiques de modération de la plateforme, qui interdisent pourtant strictement les contenus violents extrêmes. Déguisées sous un style visuel « mignon » et « à la Pixar », certaines de ces vidéos véhiculent des messages provenant d’organisations extrémistes, notamment l’« accélérationnisme » d’extrême droite, le « nihilisme violent » et le groupe État islamique (EI), détaille un rapport publié lundi par le GNET.
Ces scènes violentes s’inscrivent dans une tendance plus large de clips d’intelligence artificielle où des aliments anthropomorphes jouent des histoires mélodramatiques d’amour, de trahison et de scandale.
Les experts du GNET, une initiative de recherche soutenue par le Global Internet Forum to Counter Terrorism (GIFCT), déclarent : « Les déchets violents basés sur l’IA (contenu numérique de mauvaise qualité et produit en masse) renforcent une fascination pour la violence pour la violence, permettant ainsi à ce que l’on appelle ‘l’ode en ligne à la violence’ de gagner progressivement du terrain auprès des jeunes dans l’espace numérique. »
« Plus inquiétant encore est l’escalade du drame absurde généré par l’IA vers un contenu explicitement graphique », ajoutent-ils. « Le potentiel de radicalisation de ce contenu ne réside pas nécessairement dans le message idéologique, mais dans la normalisation de la cruauté, l’engourdissement émotionnel et la culture du choc amplifiée par les algorithmes. En ce sens, la transition d’un humour surréaliste inoffensif à des images violentes générées par l’IA reflète une dynamique plus large de radicalisation en ligne : l’érosion progressive des frontières émotionnelles par une exposition constante à des images de plus en plus violentes et déshumanisantes. »
Dans certaines vidéos, des aliments animés utilisent des fusils et des haches pour tuer leurs ennemis. D’autres vidéos sont liées à des groupes criminels spécifiques.
L’étude cite un exemple où une carotte fait « exploser » une pomme de terre, une scène qui semble reproduire le contenu des vidéos officielles de l’EI. Un autre exemple met en scène un « Calife Carotte » disant à son armée que « l’État Carotte renaîtra », une formulation qui évoque un slogan infâme utilisé par l’État islamique.
Deux publications liées à l’EI utilisaient des hashtags souvent employés par les sympathisants du groupe terroriste pour diffuser de la propagande. Le rapport met également en lumière un compte qui partage du contenu IA violent avec des fruits et légumes et qui fait référence à l’organisation terroriste néonazie Atomwaffen Division, ainsi qu’à la sous-culture violente nihiliste No Lives Matter.
Les chercheurs indiquent que les commentaires sur ce contenu incluent des déclarations d’idéologie d’extrême droite, avec le message « suprématie de la pomme de terre » qui fait référence à la suprématie blanche. Une publication présentée dans le rapport montre une image IA d’une tomate disant : « Aucun légume ne compte. »
Les chercheurs ajoutent : « Il est clair que les plateformes de génération par IA sont un outil crucial pour créer du contenu viral en ligne, y compris du contenu violent et extrémiste. Le matériel de violence alimentaire basé sur l’IA est facilement accessible, ce qui expose les mineurs et les jeunes au risque de consommer par inadvertance du contenu graphique ou dérangeant. Les scènes avec des fruits et légumes IA sont simples et très répétitives. Elles ne nécessitent aucun effort cognitif, offrent des récompenses constantes par des scènes inattendues et sont parfaites pour un défilement infini. Elles sont spécifiquement conçues pour l’algorithme, extrêmement rapides à produire et optimisées pour l’engagement. Elles agissent donc comme des pièges à attention. »
L’équipe craint que les utilisateurs ne « tombent » sur ce matériel terroriste et ne soient ainsi attirés vers ces écosystèmes en ligne. Les commentaires pourraient fonctionner comme des « centres de communication » où les utilisateurs fournissent des détails supplémentaires, ajoute le GNET. « Ce type de contenu peut jeter les bases de la consommation d’autres contenus audiovisuels violents, faisant tomber les jeunes utilisateurs dans le piège de la radicalisation en ligne. »
Les auteurs du rapport appellent TikTok à développer des « contre-mesures » pour limiter efficacement ce type de contenu généré par intelligence artificielle. TikTok n’a pas encore répondu aux sollicitations.