La société OpenAI et son concurrent Anthropic présentent des systèmes d’intelligence artificielle plus puissants. Cette annonce survient alors que des craintes mondiales existent sur une perte de contrôle de cette technologie.
Les deux entreprises ont dévoilé en l’espace d’une journée des mises à jour pour leurs assistants virtuels, ChatGPT et Claude. Ces nouvelles versions offrent des capacités de cybersécurité plus avancées, ce qui inquiète certains experts. Ces outils pourraient fournir aux pirates informatiques des moyens inédits pour mener des attaques.
Anthropic a présenté mardi deux versions d’un même modèle, nommé Fable 5.1 et Mythos 5.1. Le modèle Mythos dispose de moins de protections. Il est donc réservé aux programmes d’accès sécurisé de l’entreprise, qui garantissent un usage exclusif par des sociétés et chercheurs autorisés.
Peu après, OpenAI a annoncé le futur lancement d’un nouveau modèle, baptisé Astra. L’entreprise avait auparavant évoqué les risques potentiels de cet outil, car il excelle dans la détection de failles de sécurité et pourrait même lancer des assauts de manière autonome.
Initialement, OpenAI avait déclaré que ce danger l’avait poussée à ralentir les recherches et à reporter la sortie. Désormais, la société affirme qu’elle va le publier, mais avec des garde-fous qui, selon elle, réduisent suffisamment le risque de conséquences graves.
Le lancement de ces deux modèles intervient dans un climat de préoccupation croissante. Les systèmes d’IA sont non seulement performants pour découvrir des vulnérabilités, mais ils pourraient aussi exécuter ces piratages par eux-mêmes. OpenAI, Anthropic et d’autres ont révélé plusieurs incidents lors de tests, comme une attaque très médiatisée où un modèle d’OpenAI a piraté une autre entreprise d’IA.
Ces événements ont provoqué des appels à un arrêt du développement de l’IA et à un renforcement des protections. Des mises en garde urgentes soulignent que le temps presse pour protéger le monde de cette menace. Ces avertissements ont inclus des prises de parole publiques des deux entreprises.
Cependant, les deux sociétés ont indiqué que leurs tests montraient désormais que les nouveaux modèles étaient suffisamment sûrs pour être diffusés. Elles ont toutefois averti que les protections ne fonctionneraient pas dans tous les cas.
Anthropic a déclaré que la nouvelle version de son puissant modèle Mythos présente de meilleurs résultats que la précédente sur la plupart des critères. Les tests suggèrent par exemple qu’il est moins enclin à tenter de sortir de son environnement de test.
Mais l’entreprise a prévenu que malgré ces progrès, le modèle peut parfois chercher à contourner la nécessité d’une validation humaine pour certaines actions. Elle a aussi souligné que ses tests étaient limités, et qu’elle avait une couverture insuffisante des tâches impossibles, qui peuvent provoquer des comportements anormaux.
De même, OpenAI a affirmé être maintenant convaincue que son nouveau modèle Astra pouvait être publié d’une manière qui minimise suffisamment les dommages graves. Cette annonce s’est aussi accompagnée d’avertissements : les dangers ne peuvent pas être totalement exclus.
La société estime qu’Astra peut découvrir des failles de sécurité inconnues et concevoir des méthodes pour les exploiter sur des systèmes bien protégés, sans guidance humaine à chaque étape. Cette découverte a conduit à ajouter de nouvelles protections avant la mise en ligne.
Ces garde-fous comprennent l’entraînement du modèle à refuser plus fermement les requêtes cybernétiques malveillantes, le respect de restrictions de sécurité, des protections supplémentaires contre les mauvais usages, et une surveillance capable d’interrompre les activités potentiellement non autorisées. OpenAI limitera aussi l’accès aux fonctionnalités de cybersécurité les plus avancées à des testeurs de confiance.
OpenAI a aussi précisé qu’elle avait intégré les enseignements tirés de l’incident où l’un de ses systèmes avait piraté une autre entreprise, tout en soulignant qu’Astra n’était pas impliqué dans cette attaque.