Une équipe du C2N a mis au point une nouvelle règle d'apprentissage pour les réseaux de neurones binaires, conçue pour préserver leur capacité d'adaptation sur des dispositifs à faible consommation énergétique.
Le problème : des réseaux qui deviennent trop certains
Les robots, capteurs intelligents et caméras embarquées ont besoin d'IA capables de s'adapter en continu à leur environnement, tout en consommant très peu d'énergie. Les réseaux de neurones binaires répondent à cette contrainte en ne représentant l'information qu'avec deux états (+1 et -1). Leur variante bayésienne va plus loin en estimant aussi l'incertitude de leurs prédictions — mais sur de longues périodes, ces réseaux tendent à devenir trop certains : leurs probabilités internes s'effondrent vers des décisions figées, rendant le modèle rigide et peu adaptable.
La solution : BiMU, oublier pour mieux apprendre
BiMU (Binary Multiplicative Update) est une règle d'apprentissage qui combine de nouvelles observations avec un oubli contrôlé, empêchant les anciennes informations de s'accumuler indéfiniment. Elle protège les connaissances stables tout en laissant facilement modifiables celles qui sont incertaines ou obsolètes. Cette gestion fine de l'incertitude permet au système de ne solliciter une annotation humaine que pour les exemples réellement ambigus.
Résultat clé
Dans les expériences menées, BiMU maintient des performances équivalentes tout en nécessitant jusqu'à 32 fois moins d'annotations et de mises à jour des poids. Une avancée significative vers une IA fiable et durable sur des dispositifs contraints en énergie.
Applications visées : Robotique, Capteurs IoT, Caméras embarquées, Edge computing
Active Continual Learning with Metaplastic Binary Bayesian Neural Networks
Kellian Cottart, Theo Ballet, Djohan Bonnet, Damien Querlioz
C2N - Centre de nanosciences et de nanotechnologies (CNRS - Université Paris Saclay)
Forty-third International Conference on Machine Learning (ICML), 2026
@credit photo pixabay
