Une étude novatrice publiée dans Nature Communications le 7 décembre 2023 démontre une avancée majeure dans la technologie des réseaux neuronaux, avec des implications significatives pour le diagnostic médical. Une équipe collaborative, incluant des chercheurs du Centre de Nanosciences et de Nanotechnologies (C2N) du CNRS, de CEA-Leti, de CEA-List, et l'IM2NP, a réussi à mettre en œuvre le premier réseau neuronal bayésien complet basé sur les memristors, adapté à une application réelle. Cette technologie innovante offre des capacités améliorées dans la classification de différents types d'enregistrements d'arythmies, intégrant une approche sophistiquée pour gérer l'incertitude. Cette caractéristique est particulièrement précieuse dans le diagnostic médical et d'autres tâches critiques pour la sécurité qui nécessitent une prise de décision précise basée sur des données limitées, souvent bruyantes. Les réseaux neuronaux bayésiens sont particulièrement adaptés à ces tâches en raison de leur capacité à évaluer l'incertitude prédictive. Cependant, ces réseaux exigent traditionnellement des ressources énergétiques et computationnelles élevées en raison de leur nature probabiliste, qui nécessite le stockage de distributions de probabilités – ou de poids synaptiques – souvent à l'aide d'un générateur de nombres aléatoires.
L'équipe de recherche, incluant Damien Querlioz du C2N, a innové en utilisant la variabilité intrinsèque des memristors pour stocker ces distributions de probabilités, contournant ainsi le besoin de générateurs de nombres aléatoires séparés. Cette approche réduit non seulement la consommation d'énergie, mais simplifie également le processus global.
Un défi important dans la mise en œuvre de ce système était le besoin d'opérations parallèles de multiplication et d'accumulation (MAC) étendues, qui sont généralement intensives en ressources lorsqu'elles sont effectuées sur des systèmes basés sur le CMOS. La solution de l'équipe implique l'utilisation de croisillons de memristors, qui facilitent naturellement ces opérations à travers la loi d'Ohm et la loi de Kirchhoff, conduisant à une réduction significative de la consommation d'énergie.
Un autre aspect de cette recherche était l'intégration des memristors avec les réseaux neuronaux bayésiens. Les memristors, régis par les lois de la physique des dispositifs, affichent souvent des effets statistiques qui peuvent être difficiles à concilier avec la nature plus arbitraire des effets dans les réseaux neuronaux bayésiens. L'équipe a développé un nouvel algorithme d'entraînement incorporant une 'fonction de coût technologique' qui s'adapte aux particularités des memristors pendant la phase d'apprentissage, assurant la compatibilité entre le réseau et les imperfections des memristors.
Un avantage clé de ce réseau neuronal bayésien est sa capacité de quantification de l'incertitude. Contrairement aux réseaux neuronaux traditionnels, qui pourraient mal classer des entrées inconnues avec une fausse confiance, un réseau neuronal bayésien peut reconnaître et admettre des situations inconnues ou hors distribution. Cette caractéristique est cruciale dans des environnements où des prédictions erronées peuvent avoir des conséquences graves, comme dans le diagnostic médical.
L'approche unique du réseau envers les valeurs synaptiques – les traitant comme des distributions de probabilités plutôt que comme des valeurs précises – résulte en des sorties qui sont également probabilistes, offrant des aperçus du niveau de certitude du réseau. Ceci représente un pas en avant significatif dans le domaine de la technologie des réseaux neuronaux, promettant des améliorations substantielles dans le diagnostic médical et d'autres applications critiques.
References
Bringing uncertainty quantification to the extreme-edge with memristor-based Bayesian neural networks
Djohan Bonnet1,2, Tifenn Hirtzlin1, Atreya Majumdar2, Thomas Dalgaty1, Eduardo Esmanhotto1, Valentina Meli1, Niccolo Castellani1, Simon Martin1, Jean-François Nodin1, Guillaume Bourgeois1, Jean-Michel Portal3, Damien Querlioz2 & Elisa Vianello1
Nature Communications volume 14, Article number: 7530 (2023)
DOI : https://doi.org/10.1038/s41467-023-43317-9
Affiliations
1Université Grenoble Alpes, CEA, LETI, Grenoble, France
2Université Paris-Saclay, CNRS, Centre de Nanosciences et de Nanotechnologies, Palaiseau, France
3Aix-Marseille Université, CNRS, Institut Matériaux Microélectronique Nanosciences de Provence, Marseille, France
Contact C2N : Damien Querlioz
Figure : Image en microscopie électronique à balayage d'un memristor filamentaire dans le back end of line de notre processus hybride memristor/CMOS.
