Alors que l’IA prend de l’ampleur, sa consommation d’énergie suscite des inquiétudes. Une entreprise a proposé une solution prometteuse qui pourrait réduire cette consommation de 95 % sans compromettre l’efficacité. Découvrez comment cette innovation pourrait transformer l’impact environnemental et opérationnel des modèles d’IA.
Une pomme de terre chaude : Alors que de plus en plus d’entreprises s’engagent dans l’IA, la consommation d’énergie des modèles d’IA devient une préoccupation urgente. Bien que les acteurs majeurs tels que NVIDIA, Microsoft et OpenAI minimisent la situation, une entreprise affirme avoir trouvé la solution.
Les chercheurs de BitEnergy AI ont développé une technique qui pourrait réduire considérablement la consommation d’énergie de l’IA sans sacrifier trop d’exactitude ni de vitesse. L’étude soutient que cette méthode pourrait diminuer l’utilisation d’énergie jusqu’à 95 %. L’équipe appelle cette avancée Multiplication à Complexité Linéaire, ou L-Mul pour faire court. Ce processus computationnel utilise des additions entières, requérant beaucoup moins d’énergie et moins d’étapes que les multiplications en virgule flottante pour les tâches liées à l’IA.
Les nombres à virgule flottante sont largement utilisés dans les calculs de l’IA lorsqu’il s’agit de traiter des chiffres très grands ou très petits. Ces nombres sont l’équivalent du format binaire de la notation scientifique et permettent aux systèmes d’IA d’exécuter des calculs complexes avec précision. Cependant, cette précision a un coût.
Les demandes croissantes d’énergie du boom de l’IA ont atteint un niveau préoccupant, certains modèles nécessitant d’énormes quantités d’électricité. Par exemple, ChatGPT consomme l’électricité équivalente à celle de 18 000 foyers américains (564 MWh par jour). Les analystes du Cambridge Centre for Alternative Finance estiment que l’industrie de l’IA pourrait consommer entre 85 et 134 TWh annuellement d’ici 2027.
L’algorithme L-Mul s’attaque à ce gaspillage excessif d’énergie en approximant des multiplications complexes en virgule flottante par des additions entières plus simples. Dans les tests, les modèles d’IA ont maintenu leur précision tout en réduisant leur consommation d’énergie de 95 % pour les multiplications de tenseurs et de 80 % pour les produits scalaires.
La technique L-Mul offre également des performances améliorées de manière proportionnelle. L’algorithme dépasse les normes computationnelles actuelles de 8 bits, atteignant une précision plus élevée avec moins de calculs au niveau des bits. Des tests couvrant diverses tâches d’IA, y compris le traitement du langage naturel et la vision par ordinateur, ont montré une seule baisse de performance de 0,07 % – un petit compromis compte tenu des économies d’énergie réalisées.
Les modèles basés sur des transformateurs, tels que GPT, peuvent tirer le meilleur parti de L-Mul, car l’algorithme s’intègre parfaitement dans le mécanisme d’attention, un composant crucial mais énergivore de ces systèmes. Des tests sur des modèles d’IA populaires, tels que Llama et Mistral, ont même montré une précision améliorée pour certaines tâches. Cependant, il y a de bonnes et de mauvaises nouvelles.
Les mauvaises nouvelles sont que L-Mul nécessite actuellement un hardware spécialisé. Le traitement de l’IA contemporain n’est pas optimisé pour tirer parti de cette technique. Les bonnes nouvelles sont que des plans pour développer du hardware spécialisé et des APIs de programmation sont en cours, ouvrant la voie à une IA plus économe en énergie dans un délai raisonnable.
Le seul autre obstacle serait que des entreprises, notamment NVIDIA, freinent les efforts d’adoption, ce qui est une possibilité réelle. Le fabricant de GPU s’est construit une réputation d’être le développeur de hardware incontournable pour les applications d’IA. Il est peu probable qu’il abandonne son emprise sur un hardware plus économe en énergie alors qu’il détient une part de marché importante.
Ceux qui se passionnent pour les solutions mathématiques complexes peuvent consulter une version préliminaire de l’étude publiée dans la bibliothèque « arXiv » de l’Université Rutgers.