Encodage et apprentissage inspirés des neurosciences pour des représentations robustes
avr. – août 2025 · OIST, Okinawa, Japon · Encadrant : Pr Makoto Yamada
- Robustesse
- Auto-supervision
- Inspiré des neurosciences
Stage de recherche dans la Machine Learning and Data Science Unit de l’Okinawa Institute of Science and Technology, encadré par le Pr Makoto Yamada.
J’ai exploré la frontière entre apprentissage de représentations robustes et encodage et apprentissage inspirés des neurosciences. Les encodeurs de vision profonds ont tendance à sur-apprendre et sont fragiles face aux perturbations adverses, un obstacle majeur dans des domaines comme l’imagerie cérébrale, où les jeux de données sont petits, bruités et très variables. Nous avons étudié si une robustesse intégrée à l’architecture et à la règle d’apprentissage pouvait remplacer des défenses coûteuses comme l’entraînement adverse ou l’augmentation massive de données :
- les neurones oscillants de Kuramoto artificiels (AKOrN) modélisent les neurones comme des oscillateurs couplés dont la synchronisation lie les caractéristiques entre elles ;
- PhiNet est une méthode auto-supervisée non contrastive inspirée de l’hippocampe et de la théorie de la prédiction temporelle.
Nous avons évalué sous attaques adverses, sur CIFAR-10, des encodeurs AKOrN entraînés avec des objectifs contrastif (SimCLR) et non contrastifs (BYOL, SimSiam, PhiNet).
📄 Publications :
- Neuroscience-Inspired Encoding and Learning: A Path to Robust Representation Learning — workshop WiML @ NeurIPS 2025.
- Neither Adversarial Training Nor Purification: Emergent Adversarial Robustness from Oscillatory Predictive Learning — prépublication arXiv, 2026.
