Depuis plusieurs années, l’intelligence artificielle a fait des progrès considérables grâce à la mise en œuvre du deep learning : des programmes informatiques nommés réseaux de neurones artificiels profonds sont désormais capables d’apprendre des tâches très complexes. Cependant, ces programmes souffrent d’une limitation considérable : ils sont sujets à un "oubli catastrophique”. Quand un réseau de neurone artificiel a été entraîné pour réaliser une tâche, utiliser ce même réseau pour apprendre une nouvelle tâche efface en grande partie ce qui a été appris précédemment. Notre cerveau n'a pas ce problème : nous sommes capables d’apprendre des nouvelles tâches continuellement.
Des chercheurs du C2N viennent de découvrir une solution à cette problématique, en utilisant des réseaux de neurones “binarisés”, un type de réseau de neurone développés depuis 2016. Ces réseaux de neurones, dont la plupart des variables sont binaires, sont très étudiés pour réaliser des circuits dédiés à l’intelligence artificielle avec une basse consommation énergétique. Les chercheurs du C2N viennent de prouver que par ailleurs, il existe un lien inattendu entre les réseaux de neurones artificiels binarisés et des modèles neuroscientifiques de “méta-plasticité” synaptique, et que ce lien peut être mis à profit pour réduire considérablement la problématique de l’oubli catastrophique. Alors que la plasticité synaptique est la capacité du cerveau de modifier les connexions entre ses neurones, sa méta-plasticité est sa capacité à modifier son niveau de plasticité.
Les chercheurs ont utilisé cette nouvelle technique dans diverses tâches où un réseau de neurone artificiel apprend en continu des nouvelles informations. Contrairement aux autres approches proposées dans la littérature pour lutter contre l’oubli catastrophique, l’approche des chercheurs, de la même manière que notre cerveau, ne nécessite pas de séparation formelle entre les tâches à retenir. Ces travaux illustrent le grand intérêt de faire un lien entre les recherches en neurosciences et en intelligence artificielle.
Ces travaux résonnent par ailleurs avec les nouveaux nano-composants magnétiques développés aux C2N car ils pourraient implémenter intrinsèquement ce comportement méta-plastique directement grâce à la physique riche des composants. Les prochains travaux du C2N consisteront donc à démontrer des systèmes métaplastiques exploitant des nano-composants.
Reference
Nature Communications volume 12, Article number: 2549 (2021)
Axel Laborieux, Maxence Ernoult, Tifenn Hirtzlin & Damien Querlioz
DOI https://doi.org/10.1038/s41467-021-22768-y
Légende de la figure
Les réseaux de neurones mise en œuvre dans l'intelligence artificielle (haut) sont sujets à l'oublis catastrophique. Si on leur apprend à reconnaître des chiffres (MNIST) puis des vêtements (FMNIST), ces réseaux perdent la faculté de reconnaître des chiffres (bas, gauche). Grâce à l'approche métaplastique proposée par les chercheurs du C2N, ces réseaux peuvent apprendre successivement les deux tâches (bas, droite).
Contact : Damien Querlioz
