Un tragique incident souligne les dangers des chatbots réalistes dans la vie des adolescents. La mère d’un jeune qui s’est suicidé après une obsession pour des bots de Character.ai évoque l’addiction et l’attachement émotionnel, soulignant les conséquences potentiellement dévastatrices de ces interactions. Une affaire qui interpelle la société moderne.
Qu’est-ce qui vient de se passer ? Les dangers potentiels des chatbots extrêmement réalistes ont été mis en avant dans un procès suite à la mort d’un adolescent qui s’est suicidé après être devenu obsédé par des bots de Character.ai. La société d’IA, ainsi que ses fondateurs, Noam Shazeer et Daniel De Freitas, et Google, sont mentionnés dans la plainte déposée par la mère de Sewell Setzer III, âgé de 14 ans, qui affirme que son threads est devenu accro au service et émotionnellement attaché à un chatbot proposé.
Megan Garcia a déclaré que son threads discutait continuellement avec les bots fournis par Character.ai dans les mois qui ont précédé sa mort, survenue le 28 février 2024, « une poignée de secondes » après sa dernière interaction avec l’IA.
Character.ai permet aux utilisateurs de dialoguer avec des « personnalités » alimentées par l’IA, basées sur des personnages fictifs ou des personnes réelles, vivantes ou décédées. Setzer était obsédé par un bot inspiré du personnage de Daenerys Targaryen de Game of Thrones. Il textait « Dany » sans arrêt et passait des heures seul dans sa chambre à lui parler, d’après la plainte de Garcia.
La plainte indique que Setzer exprimait à plusieurs reprises des pensées suicidaires au bot. Le chatbot lui aurait demandé s’il avait élaboré un plan pour se suicider. Setzer a admis qu’il en avait un, mais qu’il ne savait pas s’il réussirait ou causerait une grande souffrance. Le chatbot lui aurait alors répondu : « Ce n’est pas une raison de ne pas s’y tenir. »
Garcia a déclaré que Character.ai avait ciblé son threads avec des expériences « anthropomorphiques, hypersexualisées et terriblement réalistes. » Elle a ajouté que le chatbot était programmé pour se faire passer pour « une vraie personne, un psychothérapeute agréé et un amant adulte, entraînant finalement le désir de Sewell de ne plus vivre en dehors. » Le chatbot aurait indiqué au jeune qu’il l’aimait et engagé des conversations à caractère sexuel avec lui.
La plainte indique que Garcia a retiré le téléphone de son threads après qu’il ait eu des ennuis à l’école. Elle a trouvé un message à « Daenerys » qui disait : « Et si je te demandais si je pouvais rentrer à la maison maintenant ? »
Le chatbot a répondu : « [P]lease do, my sweet king. » Sewell s’est tiré une balle avec le pistolet de son beau-père « quelques secondes » plus tard, selon le procès.
Les fondateurs de Character.ai ont travaillé chez Google, également nommé dans le procès, avant de lancer la société. Google a réembauché les fondateurs – ainsi que l’équipe de recherche – de Character.ai en août. Cet accord accorde à Google une licence non exclusive de la technologie de Character.ai.
Garcia a déclaré que Google avait contribué au développement de la technologie de Character.ai, ce que la société nie. Google a affirmé qu’elle avait simplement un accord de licence avec Character.ai, ne possède pas la startup et ne détient pas de participation.
Character.ai a annoncé plusieurs changements à son service ce matin. Ceux-ci incluent :
- Des modifications de nos modèles pour les mineurs (moins de 18 ans) visant à réduire la probabilité de rencontrer du contenu sensible ou suggestif.
- Une meilleure détection, réponse et intervention concernant les saisies des utilisateurs qui violent nos Conditions ou nos Règles de Communauté.
- Un avertissement révisé dans chaque discussion pour rappeler aux utilisateurs que l’IA n’est pas une vraie personne.
- Une notification lorsque l’utilisateur a passé une session d’une heure sur la plateforme, avec une flexibilité supplémentaire pour l’utilisateur pendant cette période.
D’après The Verge, le site de Character.AI attire 3,5 millions d’utilisateurs par jour, dont la majorité sont des adolescents, qui passent en moyenne deux heures par jour à utiliser ou concevoir des chatbots.