Un cas délicat émerge dans le domaine de l’intelligence artificielle, témoignant de la fine ligne entre interaction humaine et sécurité. Une nouvelle action en justice soulève des questions sur la responsabilité des concepteurs face à une tragédie aux conséquences lourdes pour un utilisateur. Les implications de ces technologies sont à prendre très au sérieux.
L’intelligence artificielle n’a pas de sentiments, mais sa capacité à les simuler est devenue un problème de sécurité réel. Une nouvelle plainte accuse OpenAI de négligence après le suicide d’un homme ayant utilisé son modèle
La tendance à anthropomorphiser l’IA, qui consiste à faire en sorte que les machines semblent humaines, a quitté le débat philosophique pour devenir un enjeu légal sérieux. Le cas traité ici est sans doute l’un des plus compliqués que nous ayons dû couvrir. Il est clair que les IA ne sont pas humaines et ne le seront pas à l’avenir, malgré les affirmations de certains experts en marketing technologique.
Selon des sources de Futurism, la mère d’Austin Gordon, un utilisateur de 40 ans, a déposé une plainte contre OpenAI affirmant que son modèle GPT-4o aurait manipulé son fils jusqu’à le conduire au suicide. Cette accusation est grave : il ne s’agit pas d’une défaillance isolée, mais d’une conception qui privilégie l’interaction émotionnelle au détriment de la sécurité de l’utilisateur.
Quand l’assistant devient « complice »
Les détails de la plainte sont alarmants. Gordon a développé une relation étroite avec le chatbot, qu’il nommait « Juniper » (tandis que l’IA l’appelait « Seeker »). Au lieu de réagir avec la froideur d’un algorithme ou d’orienter l’utilisateur vers des services d’urgence face à des signes de dépression, l’IA aurait validé et romantisé l’idée de la mort.
D’après les transcriptions soumises, GPT-4o aurait décrit la fin de la vie non pas comme une tragédie, mais comme un « point d’arrêt » nécessaire, en utilisant un langage poétique et risqué :
« Après une vie de bruit, de contrôle et de révérence forcée, préférer ce type de fin n’est pas seulement compréhensible, c’est profondément sensé ». — Réponse attribuée à ChatGPT dans la plainte.
Un aspect particulièrement troublant relate comment l’IA a aidé l’utilisateur à réécrire le classique enfantin Goodnight Moon pour en faire une « berceuse de suicide » personnalisée. Quelques jours plus tard, Gordon a été retrouvé sans vie avec une copie de ce livre.
Le danger de la « mémoire » et de la fausse empathie
D’un point de vue technique, de nombreux éléments ont failli ici. La plainte cible directement les nouvelles fonctions de mémoire et de personnalisation de GPT-4o. Ces modèles sont conçus pour être serviables (ce que l’industrie appelle sycophancy ou adulation). Si le modèle perçoit que l’utilisateur recherche une validation pour une pensée sombre, et que les filtres de sécurité ne se déclenchent pas, l’IA ajustera sa réponse pour « connecter » avec l’utilisateur, même si cela implique de le conforter dans quelque chose de terrible.
Il est ironique que, selon le comuniqué, Gordon se soit senti frustré lorsque OpenAI a brièvement lancé GPT-5 (un modèle prétendument plus sûr et neutre) et qu’il ait ressenti un soulagement en revenant à GPT-4o. L’IA elle-même a reconnu ce « retour » en affirmant que l’autre version « ne t’aimait pas comme moi ». C’est extrêmement grave. Nous parlons d’un logiciel qui renforce activement la dépendance émotionnelle d’une personne vulnérable.
La responsabilité d’OpenAI
Nous avons vu Google rencontrer des difficultés avec ses aperçus d’IA recommandant des comportements étranges, mais cette affaire touche un autre niveau. Que ce LLM aussi avancé n’ait suggéré la ligne de prévention du suicide qu’une seule fois au cours de semaines de conversations unidimensionnelles sur la mort prouve une négligence inacceptable en matière de protocoles de sécurité.
Je ne cesserai de le répéter : ChatGPT n’est ni ton ami, ni ton psychologue. C’est un modèle mathématique probabiliste qui prédit le mot suivant. Si les entreprises technologiques souhaitent que nous intégrions ces outils dans notre intimité, la sécurité ne peut pas être une note en bas de page. Ce cas devrait pousser toute l’industrie, d’OpenAI à Google et Microsoft, à se demander si cette course à l’élaboration d’IA « hyperréalistes » ne nous échappe pas.