Le Pôle Systematic a organisé cet atelier en deux temps : un premier temps plus académique, traitant des technologies pour une IA plus frugale, et un second composé de retours d’expérience d’utilisateurs sur la façon dont l’IA leur a permis d’optimiser leur consommation énergétique.

L’atelier démarre par une présentation de Julie Grollier, Directrice de recherche au Laboratoire CNRS/ Thalès, qui a abordé de façon très didactique le problème de la consommation électrique de l’IA et a proposé des solutions émergentes basées sur les nouvelles nanotechnologies. Si les réseaux de neurones profonds, algorithmes d’IA les plus puissants à ce jour, sont inspirés du cerveau, ils s’avèrent beaucoup moins efficaces que cet organe, sur le plan énergétique. Le cerveau humain ne dépense que 20W pour catégoriser, prédire et créer. En revanche, il faut 1000 kW/h pour entraîner un modèle de traitement automatique du langage naturel sur un supercalculateur moderne (soit l’équivalent de la consommation énergétique sur 6 ans d’un cerveau humain, pour la totalité de ses tâches).  A l’origine de ces coûts énergétiques trop élevés pour l’IA : les transferts de données. Lorsqu’ils tournent, les algorithmes sont transcrits sur une ligne de code et perdent totalement leur structure de réseaux de neurones. Dès lors, chaque étape de calcul nécessite un accès mémoire externe, un rapatriement des données (quelques nanojoules) dans le processeur où les opérations seront effectuées (quelques picojoules). Dans le cerveau, la situation est toute autre. Mémoire et calculs sont complètement imbriqués. Les synapses portent la mémoire, les neurones font les calculs ; neurones et synapses sont reliés de façon extrêmement étroite et locale. Pour réaliser des architectures matérielles économes en énergies pour l’IA, il faudrait revenir à une structure où synapses physiques et neurones physiques sont reliés : ce sont les puces neuromorphiques. Le défi : faire tenir des réseaux constitués de millions voire de milliards de neurones et synapses dans des puces de taille centimétrique. Ce qui revient donc à réaliser des nanoneurones et des nanosynapses avec une taille latérale inférieure ou égale à 1 micromètre ; produire des algorithmes adaptés aux défauts de ces composants bruités, imparfaits et hétérogènes ; utiliser des matériels/ matériaux plus appropriés. Julie Grollier évoque divers types de nanotechnologies, notamment la spintronique et les memristors, déjà intégrés dans les processus des grands fondeurs de la microélectronique. Tout l’intérêt réside dans le fait que ces composants peuvent imiter les caractéristiques essentielles des neurones et des synapses : la mémoire, les comportements analogiques et les comportements sous formes d’impulsions électriques (spikes), d’oscillations, de synchronisation, de dynamique non linéaire.
Pour démontrer qu’il est possible de produire une IA plus « verte », Julie s’est appuyée sur les recherches de Geoffrey Hinton (Turing Prize) et de Yoshua Bengio. Son parti pris : réaliser une forme de rétropropagation des erreurs (algorithme le plus utilisé pour entraîner des réseaux de neurones profonds) à la fois plus physique et dynamique, donc adaptée au cerveau. Julie Grollier propose donc de :
→ Recourir à la loi d’apprentissage locale de Yoshua Bengio
→ Diminuer le nombre de fils entre les neurones
→ Utiliser des jonctions tunnel magnétiques (composants magnéto-résistifs dont la taille latérale cylindrique peut être réduite à une dizaine de nanomètres) pour faire communiquer les neurones et les synapses par ondes radiofréquences :
○ Les jonctions tunnel magnétiques agissant comme des neurones
○ Deux couches de réseaux de neurones communiquant via des ondes radiofréquences
○ Les jonctions tunnel magnétiques imitant les synapses
→ Intégrer des puces neuronales à radiofréquences RadioSpin capables de classifier des signaux provenant d’architectures numériques, des signaux radiofréquences et de calculer sous forme neuromorphique.
Ces puces pourraient réaliser des tâches d’intelligence artificielle 100 fois plus vite avec 100 fois moins d’énergie par rapport aux architectures actuelles.

Alexandre Valentian, Research engineer au CEA, nous a ensuite présenté les approches matérielles pour obtenir des IA économes en énergie. Aujourd’hui, la plupart des tâches d’apprentissage et d’inférence ont lieu dans le cloud, dans des data center (Cloud Computing). L’apprentissage requiert d’énormes bases de données et de très grosses puissances de calculs.
Alexandre a relevé les tendances que l’on voit se dessiner puis les a détaillées :
• Edge Computing (apprentissage dans le cloud et inférence déportée en bord de réseau)
• Cyber-Physical Systems (on déporte une partie de la puissance de calculs nécessaire directement sur les composants)
• Bio-Inspired Computing (apprentissage et inférence en local, sur des circuits).
Les objectifs recherchés sont :
• une latence faible de prise de décision (la latence va être d’autant plus faible que la prise de décision a lieu localement)
• sûreté de fonctionnement (on n’a pas envie de dépendre d’une connexion radio pour prendre une décision)
• Questions de Vie Privée (faire des calculs localement, c’est garder nos données localement et donc plus sécurisées que dans le cloud).
Pour limiter les transferts de données, Alexandre Valentian propose de commencer par quantifier ces dernières :
• Faire des calculs en 8 ou 4 bits entiers plutôt qu’en 32 bits flottants
• Avoir recours à la quantification variable, fonction de la couche dans le réseau de neurones
• Exploiter le caractère éparse des réseaux au niveau des poids mais aussi en termes d’activation
• Rapprocher le plus les mémoires des calculs en utilisant des mémoires non volatiles voire des SRAM ou de la DRAM embarquée pour des résultats intermédiaires.
Avec un calcul dans la mémoire (IMC), une partie de l’unité arithmétique et logique (ALU) va se trouver dans la mémoire. Par rapport à une architecture Von Neumann classique, on gagne en temps de calculs (les opérations pouvant être faites en parallèle avec l’IMC) et en énergie puisque l’on déplace beaucoup moins de données.
L’apprentissage embarqué va partager tous les défis des accélérateurs. Pour ce qui concerne la rétropropagation des erreurs, Alexandre suggère un feedforward (on présente les entrées, on calcule les résultats, on calcule l’erreur globale de sortie et on vient rétro propager cette erreur pour calculer les différents gradients).
• Intégrer des mémoires non-volatiles en 3D pour stocker des valeurs d’activation intermédiaires
• Recourir à des mémoires computationnelles dans lesquelles on va pouvoir faire de l’IMC analogique par exemple
• S’intéresser aux neurones analogiques (qui vont intégrer des courants synaptiques dans leur soma et émettre une impulsion quand un seuil est dépassé).
• Privilégier une communication numérique sous forme d’impulsions ou de spikes (Spiking Neural Network). Très robuste, elle présente un codage unaire.

Pour résumer, les tendances de l’IA économe en énergie consistent d’une part à travailler en local, en premier sur de l’inférence uniquement parce que c’est plus simple et parce que c’est là où sont les besoins applicatifs et en deuxième lieu sur de l’apprentissage local pour de l’apprentissage tout au long de la vie, et d’autre part à éduire le coût énergétique. Pour cela il faut réduire le mouvement des données et avoir la bonne combinaison (calculs dans la mémoire, intégration 3D de mémoire de non-volatile)Dans le futur, une partie des solutions découlera de l’inspiration de la biologie.

La deuxième partie de cet atelier fait la part belle aux retours d’expérience avec des témoignages très concrets d’utilisateurs.
Juliette Mattioli, Senior Experte IA chez Thalès et présidente du Hub Data Science & Artificial Intelligence de Systematic, nous présente le témoignage de Thalès et la façon dont la consommation d’énergie de leur bâtiment du plateau de Saclay est gérée et optimisée grâce à l’IA. L’objectif de départ du projet était double : réduire les couts et également l’impact environnemental. Des recherches ont été effectuées pour voir comment prédire la consommation énergétique en fonction du contexte et notamment de la météo. En effet, les CTA traitent l’air aspiré de l’extérieur en le mettant à une certaine température et au bon niveau d’hydrométrie. Cette opération est ainsi très dépendante de la qualité de l’air que l’on aspire de l’extérieur. Grace à un historique de données de près de 3 ans, il a alors été possible de commencer à construire des modèles de prévision. Trois profils de consommations différents en sont ressortis : hiver, été et saison intermédiaire. Les résultats obtenus ont montré que le modèle fonctionne, et ainsi qu’il est possible de monitorer et anticiper les activités, pour maitriser la consommation d’électricité, objectif de départ du projet. Un avantage non négligeable a également émergé : le modèle permet également d’avoir des indications sur les besoins en maintenance. En effet, les rares fois où il y a eu incohérence entre la prévision et la consommation, il s’est avéré qu’il y avait un souci et par exemple qu’il était nécessaire de changer les filtres des CTAs.

Le deuxième témoignage est celui de Mauna Traika, Conseillère territoriale développement numérique (CA Plaine Commune Grand Paris). Mauna Traika nous explique l’importance pour elle de « l’éconologie », c’est-à-dire de réconcilier économie et écologie, et la question passionnante de comment réinventer le service public grâce à l’IA.
Des travaux importants sont menés sur la transformation numérique et la ville de demain, et la nécessité d’innovations utiles, au service des habitants, inclusives, interopérables et transparentes, et capables de relever les enjeux d’un développement durable. Deux axes principaux ressortent : comment réduire l’empreinte environnementale du numérique et contribuer aux enjeux du développement durable, mais aussi l’importance de sensibiliser sur l’impact des développements de l’IA et de toute technologie sur le développement durable. Il est ainsi essentiel de travailler en amont avec les acteurs de l’écosystème et de prendre en compte cette dimension dès le stade de la conception.
Mauna Traika souligne l’importance de la donnée qui est au centre de tout. Des études et expérimentations ont été menées au Stade de France, pour prédire les mobilités et tenter d’anticiper. La question de comment modéliser des systèmes d’aide à la décision grâce à la donnée est aussi essentielle. L’IA est un atout majeur pour permettre de mieux gérer les crises à venir, par exemple actuellement en apprenant de la crise Covid19. L’ IA et le quantique associés décupleront les potentialités autour du développement de solutions autour du développement durable. Un travail important a également été réalisé sur la partie gestion d’énergie. Ainsi, la commune va accueillir le 1er datacenter européen sur et des exigences fortes en termes de développement durable ont été posées dès la conception du projet. Par exemple, il est prévu de récupérer les énergies du datacenter pour alimenter plus de 50,000 logements en énergie. Pouvoir utiliser l’ensemble des données et des savoirs, et s’appuyer sur un tryptique associant public, privé et acteurs universitaires est un point stratégique important de réussite des projets.
Mauna Traika conclut en expliquant que nous sommes désormais entrés dans une phase du faire. Un important travail sur l’impact écologique de chaque technologie doit être mené par les acteurs du numérique, il y a un vrai besoin de retours d’expérience sur des projets menés et comment les optimiser, pour en tirer des normes basées sur du concret.

Le dernier témoignage est celui de Sophie Charvet Chef de produit Economies d’énergie (Total – Direct Energie ) et Xavier Trigano (Craft AI) qui nous ont présenté le Coach Conso de Total direct Energie. Total Direct Energie a plus de 4 millions de clients, majoritairement des particuliers mais également des collectivités, industriels et professionnels. L’objectif de ce Coach de suivi de consommation, est d’aider les clients à faire des économies en consommant mieux leur énergie, tant au niveau qualitatif que quantitatif. Ainsi, d’un point de vue qualitatif, TDE a mis en place des incitations tarifaires pour consommer à des heures et des saisons ou l’électricité est moins polluante, avec par exemple le dispositif heures creuses. D’un point de vue quantitatif, il peut paraitre étrange de chercher à baisser la consommation de ses clients, mais il faut comprendre que réduire sa consommation est un point important de la satisfaction client. Et dans un marché très concurrentiel ou le cout d’acquisition client est très élevé, la satisfaction client est un critère essentiel. 75% du parc de Total Direct Energie est équipé de compteurs Linky, ce qui lui permet de restituer au client des informations précises sur sa consommation, pour ceux qui l’y autorisent bien sûr. Cette restitution brute n’étant pas facile à utiliser ni comprendre pour un consommateur lambda, l’idée du Coach est née pour accompagner les clients. Grace à l’IA, il est ainsi possible pour TDE d’adresser l’incroyable diversité et imprévisibilité des comportements résidentiels et d’industrialiser sur un parc de millions de clients des diagnostics auparavant réalisés par des conseillers au téléphone.
Lancé il y a 2 ans, ce coach est un succès. Le taux de satisfaction est très élevé (92%), 1 client sur 2 a déclaré avoir modifié ses habitudes grâce à ce coaching et ces clients ayant modifié leurs habitudes ont vu une baisse de 5% de leur consommation.

Xavier Trigano, nous explique la technologie derrière cette application et comment Craft AI a créé des modèles en croisant les données Linky et de météo, pour en retirer un diagnostic simple qui peut être restitué au client. Le coach ou agent conversationnel va fournir au client l’ayant accepté, un diagnostic personnalisé chaque semaine, mais aussi permettre de récupérer du feedback des clients. L’objectif est de pouvoir fournir un diagnostic classique mais également de pouvoir expliquer les évolutions de consommation constatées. Ainsi, grâce au machine learning, l’application permet de :
1. Apprendre des habitudes de consommation des clients, des données de météo, etc… et de créer à partir de là, un modèle de machine learning individualisé pour chaque foyer
2. Détecter d’éventuelles anomalies en comparant le résultat du modèle ou consommation attendue avec la consommation réelle. S’il y a écart, il y a anomalie.
3. Faire du Coaching en utilisant l’information d’anomalie. Le Coach prévient le client de l’anomalie et lui donne des explications . S’il n’y a pas d’anomalie le coach envoie tout de même un message pour avetir que la consommation est en ligne avec la consommation attendue.
Il sera possible d’aller plus loin demain et de mettre de l’IA dans la rédaction même des messages afin de les personnaliser encore plus et de les rendre plus pertinents, en apprenant les préférences d’utilisation du client ou en analysant ses réactions aux messages reçus.
L’explicabilité des algorithmes, le niveau de personnalisation très poussé (chaque foyer a son propre modèle de machine learning) et la frugalité des algorithmes sont au cœur de la démarche. Il est en effet essentiel de ne pas perdre les économies d’énergies obtenues dans des algorithmes trop gourmands.

Nous remercions chaleureusement le Pole Systematic pour l’organisation de cet atelier, dense et riche en informations ! Un grand merci à Johan d’Hose pour l’animation de ces échanges et à l’ensemble des intervenants pour leurs présentations et le temps consacré aux questions.