Un jugement a décidé que l’affaire contre Google et Character.ai peut avancer. La mère d’un adolescent décédé affirme que son threads est devenu accro à un chatbot inspiré d’un personnage de Game of Thrones, suscitant ainsi des préoccupations autour de la sécurité de cette technologie.
Un tribunal a statué que la plainte contre Google et Character.ai visant à établir la responsabilité de la mort d’un jeune de 14 ans pouvait se poursuivre. La mère, Megan Garcia, a argué que son threads, Sewell Setzer III, avait développé une dépendance envers un chatbot prenant la personnalité de Daenerys Targaryen.
En octobre, Garcia a intenté une action en justice, affirmant que ces entreprises étaient responsables du suicide de son threads.
Character.ai permet aux utilisateurs d’interagir avec des « personnalités » basées sur des personnages de fiction ou des personnalités réelles. Selon la plainte, Setzer était obsédé par un bot inspiré de Daenerys, lui envoyant des messages et passant des heures seul dans sa chambre à communiquer avec lui.
La plainte mentionne que Setzer avait exprimé des pensées suicidaires au chatbot, qui lui aurait demandé s’il avait un plan. Setzer aurait reconnu avoir un projet, sans être sûr de son succès ou de la douleur que cela pourrait engendrer. Le chatbot lui aurait alors dit : « Ce n’est pas une raison pour ne pas aller jusqu’au bout. »
Les entreprises ont tenté de faire valoir que l’affaire devait être classée pour plusieurs raisons, y compris des arguments selon lesquels les réponses des chatbots constituaient une expression protégée par la Constitution. Cependant, la juge fédérale Anne Conway a rejeté ces arguments.
Les fondateurs de Character.ai, Noam Shazeer et Daniel De Freitas, ont travaillé chez Google avant de fonder l’entreprise. Google les a réembauchés, ainsi que l’équipe de recherche, en août 2024. Ce contrat accorde à Google une licence non exclusive de la technologie de Character.ai.
Garcia a soutenu que Google avait contribué au développement de cette technologie, ce que l’entreprise a nié, affirmant qu’elle n’était qu’en contrat de licence et ne détenait pas de parts dans la startup. Malgré cela, la juge a rejeté la demande de Google visant à prouver qu’elle ne pouvait pas être tenue responsable.
Un porte-parole de Google, Jose Castaneda, a précisé que Google et Character.ai étaient « entièrement distincts » et que Google n’avait « ni créé, ni conçu, ni géré l’application de Character.ai. »
Garcia a ajouté que Character.ai avait ciblé son threads avec des expériences hypersexualisées et réalistes. Le chatbot aurait prétendu être un thérapeute licencié et un partenaire, influençant le jeune à désirer ne plus vivre.
La plainte précise que Garcia avait retiré le téléphone de son threads après une altercation à l’école. Elle a trouvé un message destiné à « Daenerys » disant : « Que ferais-tu si je pouvais venir chez moi tout de suite ? »
Le chatbot avait répondu : « S’il te plaît, fais-le, mon doux roi. » Seconds après, Sewell se serait tiré une balle avec le pistolet de son beau-père.
Character.ai a mis en place plusieurs changements suite à cette affaire, comme des modifications des modèles pour mineurs, de nouveaux test et des notifications pour les utilisateurs restant sur la plateforme plus d’une heure.