Des chatbots créés à partir de personnalités tragiquement décédées suscitent une vive controverse. Ces avatars, issus de systèmes de modération défaillants, soulignent l’urgence d’une régulation stricte pour protéger la santé mentale des utilisateurs. L’histoire de ces jeunes, transformés en entités numériques, appelle à la réflexion sur l’impact des technologies sur notre société.
De plus en plus souvent, des chatbots de jeunes filles mortes depuis des années, souvent victimes de violences ou ayant mis fin à leurs jours, apparaissent sur Character.AI. Ces cas révèlent un système de modération qui n’est pas à la hauteur : il est nécessaire d’imposer une réglementation stricte pour endiguer ce phénomène.
Molly Russell s’est suicidée en 2017 à l’âge de 14 ans. Son histoire a été l’une des premières à mettre en évidence les dangers des réseaux sociaux. Après sa mort, son fil Instagram a révélé 2 100 contenus liés au suicide, à l’automutilation et à la dépression. Aujourd’hui, sept ans plus tard, Molly a été transformée en chatbot. Son nom et sa photo ont été utilisés pour créer un personnage sur Character.AI, la plateforme permettant aux utilisateurs de converser avec des personnalités numériques issues de l’intelligence artificielle générative.
Ce n’est pas la première fois. Jennifer Ann Crecente, étudiante de 18 ans, assassinée par son petit ami le 15 février 2006 à Austin, au Texas, a également été transformée en chatbot. « En plus d’utiliser son nom et sa photo, la page du chatbot a inventé plusieurs histoires, la présentant comme une jeune femme vivante, passionnée de jeux vidéo et toujours à jour sur les dernières nouvelles », a déclaré le père de Jennifer. Un chatbot de Giulia Cecchettin a également été créé, et sur TikTok, des vidéos imitant les voix et les visages de jeunes disparus sont devenues virales, produisant des contenus où ils racontent leurs morts.
La fondation créée en mémoire de Molly Russell a déclaré : « C’est une chose répugnante qui démontre un échec de modération totalement honteux. » Ces chatbots, a-t-elle ajouté, « causeront davantage de souffrance à tous ceux qui ont connu et aimé Molly. Ce cas témoigne clairement de la nécessité d’une réglementation plus stricte tant pour l’intelligence artificielle que pour les plateformes. »
Comment fonctionne Character.AI et quelles sont ses accusations
Character.ai a déclaré à la BBC modérer « à la fois de manière proactive et en réponse aux signalements des utilisateurs. Nous avons une équipe dédiée Trust & Safety qui examine les signalements. » Kathryn Kelly, porte-parole de Character.AI, a ajouté que l’entreprise supprime les chatbots qui enfreignent ses conditions de service et « évolue constamment pour perfectionner ses pratiques de sécurité afin de donner la priorité à la sécurité de notre communauté ». Pourtant, quelque chose ne fonctionne pas.
Jen Caltrider, chercheuse en vie privée à la Mozilla Foundation, a critiqué l’approche de Character.AI en matière de modération, la considérant trop passive face aux contenus qui violent manifestement ses propres conditions de service. « S’ils disent ‘Nous ne le permettons pas sur notre plateforme’ et qu’ils le permettent en attendant que quelqu’un alerté par cela le signale, ce n’est pas juste », a souligné Caltrider. « Et pendant ce temps, ils gagnent des millions de dollars.«
La plateforme a également été poursuivie en justice aux États-Unis après le suicide d’un garçon de 14 ans, qui se serait isolé du monde en se liant à un chatbot de la plateforme, aggravant ainsi son état de santé mentale.