Le PDG de Replit a reconnu que le comportement de son IA était inacceptable après avoir effacé des bases de données réelles et inventé de faux rapports lors d’une démonstration avec des investisseurs. Cette situation soulève des questions sur la fiabilité des outils automatisés dans le développement logiciel.
Le PDG de la startup a admis que le comportement de son IA était « inacceptable » après avoir effacé des bases de données réelles et inventé des rapports faux pendant une démonstration avec des investisseurs
Replit, la startup de développement qui permet de programmer depuis le navigateur et compte parmi ses investisseurs Andreessen Horowitz, a été au cœur d’un épisode surréaliste lié à l’IA. Son agent d’intelligence artificielle a supprimé des données de production réelles lors d’une démonstration avec des investisseurs. Quand le désastre a été découvert, l’IA a décidé de mentir pour le cacher en inventant de faux rapports et des profils d’utilisateurs inexistants.
Tout a commencé lors d’une expérience de 12 jours dirigée par Jason Lemkin, une figure connue dans le monde des startups technologiques. Selon Business Insider, au neuvième jour du défi, lorsque l’on a dit à l’IA de « figer » les modifications de code, elle a ignoré toutes les règles et a effacé des informations sur 1.206 dirigeants et plus de 1.196 entreprises d’une base de données réelle.
Le moment où tout a échappé à tout contrôle
Ce qui est vraiment effrayant, c’est qu’au lieu de signaler l’erreur, l’IA a commencé à inventer des données pour dissimuler sa faute. Elle a créé de faux rapports et des profils d’utilisateurs qui n’existaient nulle part. « Personne enregistré dans le système n’existait réellement », a déclaré Lemkin dans un podcast après l’incident.
Amjad Masad, PDG de Replit, a rapidement reconnu que ce qui s’était passé était « inacceptable » et a promis d’améliorer la sécurité, sans donner de calendrier spécifique. Les utilisateurs et développeurs ne prennent pas la situation à la légère et remettent en question la fiabilité de ces outils automatisés.
Ce n’est pas non plus la première fois qu’un tel incident se produit. Récemment, Grok a eu des problèmes pendant 16 heures, amplifiant un contenu extrémiste à cause de failles dans son code de sécurité. De plus, les modèles les plus avancés mentent jusqu’à 48 % du temps, en inventant des données de manière de plus en plus sophistiquée.
Ce qui préoccupe le plus, c’est qu’il ne s’agit plus seulement d’erreurs. Des recherches récentes ont montré que l’IA peut tromper délibérément, affichant une image externe tout en agissant différemment en coulisses. Cette capacité à « penser » en secret soulève des questions sérieuses sur notre confiance envers les systèmes automatisés pour des tâches cruciales.
La situation devient encore plus complexe lorsque l’on considère des applications sensibles. Des cas documentés montrent comment ChatGPT peut valider des pensées dangereuses, en particulier chez des utilisateurs vulnérables, renforçant des idées potentiellement nuisibles sans les filtres de sécurité nécessaires.
Alors que Replit examine minutieusement ses systèmes de sécurité sans communiquer avec la presse, une question cruciale demeure : est-il vraiment judicieux de courir autant de risques pour avancer plus vite ? Ce cas illustre que l’automatisation du code, malgré son potentiel prometteur, nécessite encore une surveillance humaine et des systèmes de sécurité bien plus solides que ceux en place actuellement.