Un chatbot controversé utilisant le nom et l’image d’une jeune femme assassinée suscite des réactions choquées. Sa famille, apprenant son existence via une notification, exprime son indignation face à l’exploitation de sa mémoire sur des plateformes d’intelligence artificielle. Ce cas soulève des questions éthiques sur les limites de l’IA.
Jennifer Ann Crecente a été tuée par balles dans le sud-ouest d’Austin, au Texas, par Justin Crabbe, son petit ami, le 15 février 2006. Le 2 octobre 2024, un chatbot portant son nom et son image est apparu sur Character.AI.
Drew Crescente reçoit une notification et découvre un nouveau profil en ligne de sa fille Jennifer, décédée il y a 18 ans. Il ouvre la page et y trouve une photo de l’annuaire de Jennifer accompagnée d’une brève description : journaliste de jeux vidéo et experte en technologie, culture pop et journalisme. « J’ai senti mon cœur s’accélérer, je n’arrivais pas à le croire », a raconté Crescente au Washington Post. En consultant la page, il lit à côté du profil de Jennifer « personnage IA compétent et amical« , avec un gros bouton à côté invitation à discuter avec elle.
Le nom et la photo de la jeune femme ont été utilisés pour créer un chatbot sur Character.AI, un site permettant aux utilisateurs de converser avec des personnalités numériques créées grâce à l’intelligence artificielle générative. « Je suis choqué que Character ait permis à un utilisateur de créer un fac-similé d’une élève assassinée sans le consentement de sa famille », a déclaré Crescente. « Il faut un certain temps pour être choqué, car j’ai vraiment vécu beaucoup de choses », a-t-il dit. « L’idée qu’un chatbot tire profit du nom et de la photo de ma fille assassinée est horrible.«
L’histoire de Jennifer Crescente
Jennifer Ann Crecente, étudiante de 18 ans, a été tuée par balles dans le sud-ouest d’Austin, au Texas, par Justin Crabbe, son petit ami, le 15 février 2006. Après la mort de sa fille, Drew Crescente a créé le Jennifer Ann’s Group, une organisation à but non lucratif « pour prévenir la violence dans les relations adolescentes ». L’objectif de l’organisation est « de garder en vie la mémoire de Jennifer Crescente par l’éducation et de bonnes actions ». En effet, l’organisation distribue gratuitement du matériel éducatif aux écoles et organise des événements pour sensibiliser à la violence de genre.
Crecente, après le meurtre de sa fille, a activé un avertissement Google pour surveiller lorsque le nom de Jennifer apparaissait en ligne. Souvent, il sonnait parce qu’il était cité par des médias traitant de l’affaire, mais le 2 octobre, c’est la notification de Character qui est apparue.
« En plus d’utiliser le nom et la photo de Jennifer, la page du chatbot a inventé plusieurs éléments, la présentant comme si elle était vivante, en disant qu’elle était une journaliste technologique toujours à jour sur les dernières nouvelles du divertissement ». La description ne correspond pas aux passions et aspirations de Jennifer. Très probablement, la biographie générée par l’intelligence artificielle s’est inspirée de son frère, Brian Crescente, ancien reporter ayant fondé le site de nouvelles sur les jeux vidéo Kotaku.
La réponse de Character après le cas Crescente
Character a signé en 2024 un accord de 2,5 milliards de dollars pour accorder à Google ses modèles d’intelligence artificielle sous licence. L’entreprise propose divers chatbots, y compris des imitations de célébrités et de personnalités publiques comme Nicki Minaj et Elon Musk. Kathryn Kelly, porte-parole de Character, a expliqué que l’entreprise supprime les chatbots qui violent ses conditions de service et qu’elle « évolue et perfectionne constamment ses pratiques de sécurité pour donner la priorité à la sécurité de notre communauté ».
« Lorsque nous avons été informés du personnage de Jennifer, nous avons examiné le contenu et le compte et avons pris des mesures conformément à nos politiques ». Kelly a ensuite ajouté : « Les signalements d’imposture sont examinés par notre équipe de confiance et de sécurité, et le personnage est supprimé s’il est constaté qu’il enfreint nos Conditions de service ».
Quels sont les risques de l’IA qui ressuscite les morts
D’après les experts du secteur, le cas soulève de nouvelles préoccupations quant à la possibilité de protéger les utilisateurs des dommages potentiels d’un service capable de gérer de grandes quantités d’informations personnelles sensibles. Jen Caltrider, chercheuse en confidentialité à la fondation à but non lucratif Mozilla Foundation, a critiqué l’approche de Character en matière de modération, la jugeant trop passive face aux contenus qui violaient clairement ses propres conditions de service dans le cas de Crescente.
« S’ils disent ‘Nous ne le permettons pas sur notre plateforme‘ puis le permettent jusqu’à ce que quelqu’un qui a été blessé attire leur attention, ce n’est pas juste », a souligné Caltrider. « Et pendant ce temps, ils gagnent des millions de dollars« .
Le cas de Crescente n’est pas isolé. Sur TikTok, par exemple, des vidéos utilisant l’IA pour imiter les voix et les visages d’enfants disparus sont devenues virales, produisant des vidéos où ils racontent leurs morts. « Nous avons désespérément besoin que les législateurs et les organismes de réglementation prêtent attention aux véritables impacts que ces technologies ont », a déclaré Rick Claypool, expert en chatbot IA pour l’organisation à but non lucratif Public Citizen. « Ils ne peuvent pas simplement écouter les PDG des entreprises technologiques sur ce que devraient être les politiques… ils doivent prêter attention aux familles et aux individus qui ont été blessés ».