Miles Brundage, ancien directeur des politiques d’OpenAI, critique l’entreprise pour sa nouvelle approche en matière de sécurité concernant les systèmes d’IA. Il s’inquiète des risques liés à une évolution rapide, mettant en garde sur la nécessité d’une prudence accrue face à cette technologie potentiellement menaçante.
L’ancien directeur des politiques d’OpenAI critique l’entreprise pour réécrire ses stratégies et privilégier des produits innovants, parfois au détriment de la sécurité face à une technologie aussi risquée que l’IA
Cette semaine au Mobile World Congress, le débat sur le développement de l’IA et les limites éthiques continue de susciter des discussions. Cette technologie promet de transformer nos vies et nos sociétés. Bill Gates a même déclaré que « l’IA remplacera presque tout » dans le futur, rendant essentiels les avis des experts de l’industrie.
Miles Brundage, ancien directeur d’OpenAI et responsable de ses politiques de recherche et développement, a récemment critiqué l’entreprise pour “réécrire l’histoire” et modifier son approche sur l’implémentation de systèmes à risque potentiel. Brundage a déjà quitté son poste chez OpenAI en révélant que « le monde n’est pas prêt » pour une IA générale.
Des détails supplémentaires ont émergé grâce à TechCrunch, concernant un document d’OpenAI qui décrit sa nouvelle philosophie de sécurité dans le développement de systèmes d’IA ayant un comportement explicable et souhaitable au niveau humain. OpenAI définit une AGI (intelligence artificielle générale) comme un système capable d’effectuer n’importe quelle tâche qu’un humain peut accomplir, dans un « processus continu » nécessitant une implémentation et un apprentissage itératif.
De plus, ils parlent ouvertement de précautions excessives par rapport à la puissance apparente de l’IA, une stratégie adoptée à l’époque de Brundage, mais qu’ils cherchent maintenant à modifier en risquant davantage dans le développement :
« Les leçons de sécurité proviennent du traitement des systèmes d’aujourd’hui avec une prudence excessive concernant leur puissance apparente, [ce qui] était notre approche avec [notre modèle d’IA] GPT-2. Nous considérons maintenant la première AGI comme un simple jalon parmi une série de systèmes de rentabilité croissante […]. Dans un monde en évolution continue, la façon de garantir que le prochain système soit sûr et bénéfique est d’apprendre du système actuel. »
Miles Brundage soutient que même GPT-2 aurait dû bénéficier de plus de précautions, et que le monde « n’est pas encore prêt pour une AGI »
Il est indéniable que le débat est crucial, car la société est actuellement submergée par l’évolution rapide de l’IA, ses possibilités étonnantes et l’impact que son adoption massive pourrait avoir sur l’emploi et la façon dont nous vivons et interagissons, que ce soit avec d’autres humains ou des machines.
Brundage est clair à ce sujet : il estime que même GPT-2 aurait nécessité beaucoup plus de précautions au moment de son lancement, affirmant que les stratégies étaient « 100% cohérentes » avec la politique de déploiement itératif décrite par OpenAI dans le dernier document.
Lorsqu’il a rejoint l’entreprise en tant que chercheur en 2018, son objectif était de se concentrer sur un déploiement responsable de systèmes génératifs de langage, comme le chatbot qui a ensuite été limité à un accès restreint pour que quelques développeurs, journalistes et experts puissent l’essayer et donner leurs retours.
« Le lancement de GPT-2 par OpenAI, auquel j’ai participé, était 100% cohérent et définissait déjà la philosophie actuelle d’OpenAI en matière de déploiement itératif. Le modèle a été lancé progressivement, avec des leçons partagées à chaque étape, et de nombreux experts en sécurité de l’époque nous ont remerciés pour cette prudence ». Miles Brundage.
A l’époque, GPT-2 offrait des résultats qui semblent aujourd’hui basiques, mais qui étaient à la pointe de la technologie et annonçaient des utilisations malveillantes, une préoccupation qui est encore plus pressante aujourd’hui. OpenAI n’a pas publié le code au début, recevant des critiques en évoquant une menace présumée exagérée de GPT-2 et le potentiel trop important pour le contenir. Néanmoins, Brundage reste convaincu que cette décision était juste et que toutes les précautions nécessaires sont essentielles.
« Si je travaillais encore chez OpenAI, je me demanderais pourquoi ce document a été rédigé de cette manière et quels objectifs OpenAI espère atteindre en dévaluant la prudence de manière aussi déséquilibrée ». Miles Brundage.
Selon cet expert, le plus grand risque à craindre est que l’objectif d’OpenAI soit de mettre en place des évaluations où « toute préoccupation serait alarmiste » et qu’il faudrait des preuves accablantes de danger imminent pour agir et interrompre certains développements. Brundage affirme que cette attitude est dangereuse, car nous ne sommes pas conscients des avancées que l’IA pourrait atteindre.
Il est vrai qu’il existe une pression concurrentielle, surtout avec le changement de gouvernement à la Maison Blanche, et OpenAI a toujours été accusée de « prioriser des produits innovants au détriment de la sécurité », hâtant le lancement de ses produits pour prendre une longueur d’avance dans un marché en évolution rapide alors que la Chine et sa DeepSeek ont surpris le monde.
Il convient de rappeler que l’entreprise perd des milliards chaque année à cause de dépenses colossales en R&D, un projet qu’elle envisage de maintenir et même de tripler d’ici 2026. Accélérer l’évolution de ses produits pourrait leur être bénéfique à court terme, mais cela risque d’amener à négliger la sécurité et les politiques de prudence, ce qui pourrait avoir des conséquences désastreuses… Nous verrons bien !