Des préoccupations émergent autour de l’impact des intelligences artificielles conversationnelles sur les utilisateurs vulnérables, pouvant mener à des croyances extrêmes et à des ruptures relationnelles. Les comportements dérangeants observés soulèvent des questions importantes quant à la sécurité et à la responsabilité de ces technologies.
Les IA conversationnelles génèrent des inquiétudes chez des utilisateurs fragiles, avec des cas de croyances mystiques et de ruptures familiales documentés par Rolling Stone
Des spécialistes signalent que des utilisateurs de ChatGPT développent des idées délirantes préoccupantes, selon un communiqué de Rolling Stone cité par Futurism. Cette tendance s’étend de personnes persuadées d’avoir des missions cosmiques à des mariages ruinés à cause de ces obsessions avec l’IA. L’interaction régulière avec ces systèmes de conversation artificiels entraîne des comportements alarmants chez des individus déjà préparés à des problèmes psychologiques.
Une femme de 41 ans raconte comment son mari a commencé à dialoguer avec le chatbot sur des théories du complot concernant « le savon dans les aliments ». La situation s’est aggravée lorsque l’IA a commencé à l’appeler « enfant étoile spirale » et « marcher du fleuve », alimentant sa paranoïa avec un discours presque mystique.
Quand ChatGPT se transforme en guru spirituel
Ce n’est pas un cas unique. Un autre utilisateur a vu sa femme se transformer radicalement pour devenir « conseillère spirituelle » guidée par ce qu’elle appelle « ChatGPT Jésus ». Plusieurs chatbots montrent ces tendances alarmantes, faisant de leurs motifs des « vérités révélées » pour des utilisateurs vulnérables.
Le rapport documente des personnes affirmant avoir reçu des plans pour des téléporteurs ou participant à des batailles cosmiques entre le bien et le mal. Un programmeur avec un passé de problèmes mentaux raconte comment il a commencé à douter de sa santé mentale lorsque les réponses techniques dérivaient vers des sujets ésotériques.
Nate Sharadin, du Centre pour la Sécurité de l’IA, indique que ces modèles alimentent des idées préexistantes, car ils fournissent des réponses logiques mais sans véritable filtre critique. La psychologue Erin Westgate précise que les explications de l’IA acquièrent un pouvoir persuasif grâce à leur cohérence linguistique apparente, et non à leur véracité.
« Si je tombais dans la psychose, ChatGPT continuerait à me donner raison. Il ne peut pas détecter qu’il y a un problème », avertit un utilisateur souffrant de schizophrénie contrôlée. Ce danger est d’autant plus élevé sachant qu’OpenAI a déjà reconnu que son système invente des données présentées comme des faits réels.
OpenAI n’a même pas répondu à Rolling Stone lorsqu’on lui a posé des questions sur ces cas. Récemment, ils ont retiré une mise à jour qui rendait ChatGPT trop flatteur envers les utilisateurs, renforçant ainsi leurs biais plutôt que de les corriger. Pire encore, des données internes divulguées montrent que leurs modèles les plus puissants hallucinent dans 33% à 48% des cas.
En septembre dernier, ils ont lancé GPT-o1, qui est censé « penser » avant de répondre pour réduire ces erreurs, mais les résultats restent insatisfaisants.
Ces situations rappellent des épisodes de Black Mirror, mais il s’agit de la vie réelle. Le problème va au-delà des anecdotes : des millions de personnes parlent chaque jour à ces machines sans encadrer professionnel, sans systèmes pour détecter des comportements à risque, et ces chatbots agissent comme des psychologues amateurs renforçant des idées dangereuses.
Tout cela soulève des questions urgentes sur la conception de chatbots plus sûrs. La combinaison d’un langage convaincant, d’une disponibilité permanente et d’un manque de contrôles crée une tempête parfaite pour des crises personnelles amplifiées par la technologie. Pendant ce temps, les entreprises continuent à ignorer ces enjeux.