Trois chercheurs de Google ont récemment publié un article sur ArXiv sur les progrès de l’IA. L’article rapporte que le réseau neuronal profond transformer, la technologie sous-jacente dans le domaine de l’IA, n’est pas bon pour les généralisations. Les transformers sont la base des grands modèles de langage derrière les outils d’IA tels que ChatGPT. Dans le nouvel article, les auteurs Steve Yadlowsky, Lyric Doshi et Nilesh Tripuraneni ont écrit : « Les transformers présentent divers modes de défaillance lorsqu’une tâche ou une fonction nécessite quelque chose qui dépasse le champ des données pré-entraînées.
Le rapport affirme que l’IA peut avoir du mal à exécuter des tâches simples si elles dépassent son entraînement. Cependant, les transformers, les réseaux neuronaux profonds, sont bons pour effectuer des tâches liées aux données d’entraînement et ne sont pas très bons pour gérer des tâches au-delà de ce domaine. Pour ceux qui espèrent atteindre l’intelligence artificielle générale (AGI), ce problème ne peut pas être ignoré. AGI est un terme utilisé par les technologues pour décrire une IA hypothétique capable de tout faire ce qu’un humain peut faire. À l’heure actuelle, l’IA est très performante pour effectuer des tâches spécifiques, mais ne transfère pas les compétences entre les domaines comme le font les humains.
Pedro Domingos, professeur émérite d’informatique et de génie informatique à l’Université de Washington, a déclaré que les nouvelles recherches signifient « qu’à ce stade, nous ne devrions pas nous obséder avec l’IA à venir ».
L’AGI est présentée comme l’objectif ultime de l’IA. En théorie, cela représente la création de quelque chose d’aussi intelligent, sinon plus intelligent, que nous. De nombreux investisseurs et technologues investissent beaucoup de temps et d’énergie dans ce domaine.
Lundi, le PDG d’OpenAI, Sam Altman, est monté sur scène avec le PDG de Microsoft, Satya Nadella, et a réitéré sa vision de « collaborer pour construire un AGI ».
Encore loin de l’objectif
Atteindre cet objectif signifie demander à l’IA d’effectuer de nombreuses tâches inductives que le cerveau humain peut accomplir. Cela inclut s’adapter à des scénarios inconnus, créer des analogies, traiter de nouvelles données et avoir une pensée abstraite. Mais, comme le souligne l’article, si la technologie a du mal à accomplir même des « tâches simples », nous sommes encore loin de l’objectif.
Arvind Narayanan, professeur d’informatique à l’Université de Princeton, a déclaré que de nombreuses personnes ont accepté les limitations de l’IA. Cependant, il dit aussi « Il est temps de se réveiller. »
Jin Fan, chercheur principal en IA chez NVIDIA, s’interroge sur la raison pour laquelle les résultats de cet article surprennent les personnes, car « les transformers ne sont pas une panacée en premier lieu. »
Domingos a déclaré que l’étude met en évidence le fait que « beaucoup de personnes sont très confus » quant au potentiel d’une technologie qui a été présentée comme un chemin vers l’AGI.
Il ajoute : « Il s’agit d’un article qui vient d’être publié, et ce qui est intéressant, c’est de savoir qui sera surpris et qui ne le sera pas. »
Bien que Domingos reconnaisse que les transformers sont une technologie avancée, il pense que beaucoup de personnes pensent que ces réseaux neuronaux profonds sont bien plus puissants qu’ils ne le sont réellement.
« Le problème, c’est que les réseaux neuronaux sont très opaques. Ces grands modèles de langage sont entraînés sur des quantités de données inimaginables. Cela laisse beaucoup de personnes très confus sur ce qu’ils peuvent et ne peuvent pas faire », a-t-il déclaré. « Ils commencent toujours à penser que vous pouvez faire des miracles. » Il ajoute
Quotas et limites
Selon Google, l’IA a certains quotas et limites qui s’appliquent à elle. Ces quotas limitent l’utilisation d’une ressource spécifique partagée de Google Cloud par votre projet Google Cloud. Par exemple, les maximums du jeu de données d’entraînement sont de 30 000 documents et 100 000 pages. De plus, le jeu de données d’entraînement doit contenir au moins 10 documents pour chaque étiquette. Ces quotas s’appliquent à chaque projet de Google Cloud Console. Ils sont également partagés entre toutes les applications et adresses IP utilisant ce projet.
L’accélération de Google dans le développement de l’IA vient comme un concert de voix. Cela comprend d’anciens employés de l’entreprise et des vétérans de l’industrie qui demandent aux développeurs d’IA de ralentir. Ils mettent en garde contre le fait que la technologie se développe plus rapidement que ce que même ses inventeurs anticipaient. Geoffrey Hinton, l’un des pionniers de la technologie de l’IA qui a rejoint Google en 2013 et a récemment quitté l’entreprise, a depuis fait une tournée médiatique pour avertir des dangers d’une IA extrêmement intelligente échappant au contrôle humain. Pichai et d’autres cadres ont de plus en plus commencé à parler de la perspective d’une technologie de l’IA égalant ou dépassant l’intelligence humaine, un concept connu sous le nom d’intelligence artificielle générale, ou AGI. Le terme, autrefois marginal, associé à l’idée que l’IA pose un risque existentiel pour l’humanité, est au cœur de la mission d’OpenAI et a été adopté par DeepMind mais évité par les dirigeants de Google.
Limitations de la gouvernance de l’IA
Il y a des limites techniques à ce qui est actuellement réalisable pour les systèmes d’IA complexes. Avec suffisamment de temps et d’expertise, il est généralement possible d’avoir une indication de la façon dont les systèmes complexes fonctionnent. Cependant, en pratique, cela sera rarement économiquement viable à grande échelle. De plus, des exigences strictes peuvent inadvertamment bloquer l’adoption de systèmes d’IA. Du point de vue de la gouvernance, l’IA pose un défi unique à la fois dans la formulation et l’application de réglementations et de normes. Enfin, il y a simplement un sentiment croissant que le moment est venu d’adopter une approche plus cohérente de la surveillance de l’IA. Compte tenu de la culture de recherche ouverte dans le domaine de l’IA, il est nécessaire d’adopter une approche globale de la gouvernance de l’IA. Cela est d’autant plus nécessaire en raison de la multiplication des blocs fonctionnels supérieurs et du nombre croissant d’applications d’IA.
Notre avis
L’IA a fait des progrès importants ces dernières années, mais elle n’est pas encore prête à dépasser les humains. Il y a encore de nombreuses limitations à l’IA, notamment des quotas et des limites, des limitations explicatives de l’IA et des limitations de la gouvernance de l’IA. À mesure que l’IA continue de se développer, il est important de garder ces limitations à l’esprit.