Un récent incident sur YouTube a soulevé des préoccupations majeures concernant les limites des régulations de contenu. Un canal a présenté des vidéos violentes et sexistes générées par IA, provoquant la suppression de son contenu. Cet événement met en lumière la nécessité de renforcer la surveillance des plateformes numériques.
Une arme braquée, une femme en détresse, puis un tir qui la fait s’effondrer. Ce scénario, bien qu’impactant, est le produit de l’intelligence artificielle. Sur le canal Woman Shot A.I., de nombreux vidéos suivent ce modèle, explorant différentes thématiques comme des personnages de jeux vidéo (tels que Lara Croft), des « écolières japonaises touchées » ou encore des journalistes tuées par des soldats russes visant des femmes brandissant des drapeaux ukrainiens. De plus, ce canal réalisait des sondages pour « choisir les prochaines victimes ».
YouTube a pris la décision de supprimer Woman Shot A.I. suite à une alerte de 404 Media. Cela soulève des questions sur l’efficacité des contrôles en place et sur les lacunes dans les systèmes de sécurité liés à l’intelligence artificielle.
Examen du canal Woman Shot A.I.: violence et misogynie
Créé le 20 juin 2025, le canal a rapidement accumulé 27 vidéos et plus de 175.000 vues, atteignant plus de 1.000 abonnés. Chaque vidéo se concentrait sur une scène où une femme réclamait de l’aide pendant qu’un homme armé l’attaquait.
Le mode de sélection des « prochaines victimes » par le biais de sondages avec des options de femmes d’origines variées met en avant comment la plateforme a été exploitée pour propager des messages violents et discriminatoires à l’encontre des femmes.
Création des vidéos avec une IA
Les vidéos semblent avoir été générées avec Veo, le nouvel outil de création vidéo de Google. 404 Media a noté la présence d’un filigrane sur les vidéos du canal.
L’auteur a également précisé avoir dépensé environ 300 dollars par mois pour produire ces contenus. Il a exprimé des frustrations concernant les limitations de Veo, et a indiqué avoir créé dix comptes pour générer les vidéos publiées sur le canal.
Problèmes des filtres contre le contenu violent
YouTube a confirmé l’élimination de Woman Shot A.I. pour violation des conditions de service, en précisant que le créateur était un utilisateur déjà banni par le passé. Un porte-parole de Google a déclaré à 404 que « nos outils de Gen AI sont conçus pour respecter les instructions des utilisateurs ». Il a ajouté que les politiques sont régulièrement mises à jour, bien que dans ce cas, les filtres n’aient pas fonctionné.
Cet incident relance le débat sur les limites des systèmes d’IA générative et la capacité des plateformes à appliquer efficacement leurs politiques. En juillet, YouTube avait annoncé des vérifications renforcées pour les canaux produisant massivement du contenu généré par IA. Cependant, l’affaire Woman Shot A.I. montre que ces mesures demeurent insuffisantes.