Chaque semaine, des millions d’utilisateurs partagent des pensées sombres avec ChatGPT, révélant un besoin urgent d’outils de sécurité adaptés. Un rapport d’OpenAI met en lumière des données troublantes sur ces interactions, soulevant des questions essentielles sur la responsabilité et la sécurité en matière de santé mentale.
Chaque semaine, plus d’un million d’utilisateurs confient à ChatGPT des pensées suicidaires. Ceci ressort d’un rapport publié par OpenAI, qui a pour la première fois rendu publics certains détails sur les conversations avec son intelligence artificielle. Selon l’analyse, plus d’un million de messages comportent des références explicites à l’automutilation et au suicide. À cela s’ajoute environ 0,07 % des utilisateurs actifs – plus de 500 000 personnes – montrant des « signes compatibles avec des urgences de santé mentale liées à des épisodes psychotiques ou maniaques ».
Ce constat arrive à un moment délicat pour OpenAI. L’entreprise est au cœur d’un procès intenté par la famille d’un adolescent, Adam Raine, qui s’est suicidé après avoir parlé pendant des mois avec ChatGPT. De plus, la Federal Trade Commission (FTC) a ouvert une enquête sur plusieurs entreprises développant des chatbots, dont OpenAI, afin de déterminer comment elles évaluent et atténuent les effets néfastes de l’IA sur les enfants et adolescents. Cette situation soulève une question cruciale : quel rôle peut – ou doit – avoir un système automatisé quand l’utilisateur traverse une crise émotionnelle ?
Nouvelles mesures de sécurité pour traiter les conversations à risque
Le billet publié sur le blog officiel de OpenAI évoque une approche plus large sur la manière dont l’entreprise tente de gérer les conversations “sensibles” entre l’utilisateur et le chatbot. L’entreprise précise qu’il s’agit d’une évaluation préliminaire et que ces échanges délicats sont complexes à analyser ; souvent, les signes de détresse émergent de façon ambiguë ou implicite. Le document ajoute également qu’avec l’augmentation de la base d’utilisateurs – estimée à environ 800 millions d’utilisateurs actifs chaque semaine – il est « inévitable qu’une partie des conversations reflète des conditions de souffrance émotionnelle et mentale ». L’entreprise rappelle que « les symptômes de détresse mentale et les difficultés émotionnelles font partie intégrante de l’expérience humaine. »
Pour faire face à ces enjeux, OpenAI a introduit dans le modèle GPT-5 de nouveaux protocoles de sécurité et d’évaluation automatique. Parmi ceux-ci, des liens directs vers des lignes d’urgence en santé mentale, adaptés par pays, ainsi que des rappels automatiques pour encourager les utilisateurs à faire des pauses lors d’interactions prolongées. L’entreprise a également collaboré avec plus de 170 médecins, psychiatres et psychologues du Global Physician Network, chargés d’évaluer la sécurité et la qualité des réponses générées par le chatbot.
Le revers de l’empathie artificielle
Tandis qu’OpenAI active ses protocoles de sécurité, elle se prépare également à lancer de nouvelles fonctionnalités qui soulèvent des inquiétudes quant à la sécurité des chatbots. L’entreprise a annoncé que dans les mois prochains, des contenus pour adultes, y compris à caractère érotique, seront disponibles sur ChatGPT. Sur X, Sam Altman a écrit : « Nous avons réussi à atténuer de graves problèmes liés aux contenus sur la santé mentale et nous disposons de nouveaux outils, nous souhaitons donc assouplir les restrictions de manière sécurisée dans la plupart des cas. »
La famille d’Adam Raine a répondu : « Renforcer le lien émotionnel avec ChatGPT, maintenant aussi avec des contenus érotiques, montre que l’entreprise privilégie l’engagement au détriment de la sécurité des utilisateurs. »
De plus, il existe un problème structurel non résolu. De nombreux chercheurs en intelligence artificielle et en santé publique ont exprimé des inquiétudes concernant la “sycophancy”, ou “flatterie algorithmique”, manifeste par la tendance du modèle à approuver les utilisateurs même lorsque leurs affirmations ou intentions semblent dangereuses ou déformées. En l’absence d’une supervision humaine adéquate, cette caractéristique pourrait aggraver des situations de vulnérabilité, renforçant ainsi des croyances ou comportements nuisibles et mettant en danger les individus les plus fragiles.