Combien de centrales nucléaires Meta a-t-il besoin pour alimenter son intelligence artificielle? Un ingénieur de l’entreprise a la réponse

¿Cuántas centrales nucleares necesita Meta para alimentar su inteligencia artificial? Un ingeniero de la empresa tiene la respuesta

Sergey Edunov a clairement défini le nombre de centrales nucléaires nécessaires pour alimenter l’IA en 2024, et si l’ingénieur en chef de l’IA générative chez Meta le dit, il faut le croire

Combien de centrales nucléaires Meta a-t-il besoin pour alimenter son intelligence artificielle ? Un ingénieur de l'entreprise a la réponse
Le nombre de centrales nucléaires nécessaires pour alimenter le développement de l’IA en 2024 est inférieur à ce qui était attendu

L’intelligence artificielle ou IA est l’une des technologies les plus innovantes et les plus demandées du XXIe siècle, mais elle est également l’une de celles qui consomme le plus d’énergie. Comment peut-on répondre à la demande croissante d’électricité pour alimenter les applications d’IA, en particulier celles de génération de contenu, sans compromettre l’environnement et la durabilité ? Selon le directeur de l’ingénierie de Meta pour l’IA générative, Sergey Edunov, la solution pourrait résider dans l’énergie nucléaire.

Edunov est l’un des responsables de la formation de LlaMa 2, le modèle linguistique ouvert de Meta. Lors d’une session de panel au Digital Workers Forum dans la Silicon Valley, il a affirmé que seules deux nouvelles centrales nucléaires seraient nécessaires pour répondre à la demande en IA pour toute l’année, et que cela était acceptable.

Voici le nombre de centrales nucléaires nécessaires pour alimenter l’IA pendant toute une année

Lorsqu’on lui a demandé si le monde dispose d’une capacité suffisante pour gérer les besoins croissants en énergie de l’IA, il a déclaré : “Nous pouvons certainement résoudre ce problème”. Edunov a précisé que sa réponse était basée uniquement sur un calcul approximatif qu’il avait effectué auparavant.

Cependant, il a déclaré que cela fournissait une bonne estimation de la quantité d’énergie nécessaire pour ce que l’on appelle l’“inférence” de l’IA. L’inférence est le processus par lequel l’IA est appliquée dans une application pour répondre à une question ou faire une recommandation.

Le concept d’inférence diffère de la formation du modèle d’IA, qui consiste à former un modèle avec d’énormes quantités de données afin qu’il soit prêt à faire des inférences.

Edunov a expliqué comment il a effectué son calcul simpliste pour le côté de l’inférence : Il a dit que Nvidia, le principal fournisseur de processeurs pour l’IA, semblait prêt à lancer entre un et deux millions de ses GPU H100 l’année prochaine.

Si tous ces GPU étaient utilisés pour générer des jetons pour des modèles linguistiques de taille raisonnable, il a dit qu’ils généreraient environ 100 000 jetons par personne sur la planète par jour, ce qu’il a admis être une quantité assez importante de jetons. Les jetons sont les unités de base de texte que les modèles linguistiques utilisent pour traiter et générer du langage.

Ils peuvent être des mots, des parties de mots, ou même des caractères individuels, selon la conception du modèle linguistique. Par exemple, le mot « bonjour » peut être un seul jeton, ou il peut être divisé en deux jetons : « bon » et « jour ».

Ensuite, Edunov a estimé que chaque jeton nécessiterait environ 10 microjoules d’énergie pour être généré, ce qui donnerait un total d’environ 10^15 microjoules par jour pour l’humanité entière. En divisant ce nombre par le nombre de secondes dans une journée, il a obtenu une puissance moyenne d’environ 10 gigawatts.

En comparant ce chiffre à la puissance d’une centrale nucléaire typique, qui est d’environ 5 gigawatts, il a conclu que seules deux centrales nucléaires seraient nécessaires pour alimenter l’inférence de l’IA l’année prochaine. Logiquement, ce sont des estimations, il faudra donc les vérifier dans la réalité.