Neuroscience-Inspired Encoding and Learning: A Path to Robust Representation Learning

Mohammed-Yassine Habibi, Klea Ziu, Makoto Yamada

Workshop WiML @ NeurIPS 2025, 2025

Robustesse adverse
Auto-supervision
Inspiré des neurosciences

Résumé

Nous proposons une stratégie inspirée des neurosciences pour améliorer la robustesse des encodeurs en combinant des neurones oscillants de Kuramoto artificiels (AKOrN) avec PhiNet, une méthode d’apprentissage auto-supervisé non contrastive.

AKOrN modélise les neurones comme des oscillateurs en interaction selon le formalisme de Kuramoto, tandis que PhiNet s’inspire de l’hippocampe et de la théorie de la prédiction temporelle pour construire des représentations stables et généralisables sans recourir à des paires négatives.

Notre motivation vient de la difficulté d’apprendre des représentations robustes dans des domaines comme l’imagerie cérébrale, où les jeux de données sont petits, bruités et très variables. Les modèles de vision classiques ont tendance à sur-apprendre et sont vulnérables aux perturbations adverses. En combinant la dynamique oscillante d’AKOrN et la structure prédictive de PhiNet, nous cherchons des modèles intrinsèquement plus robustes, sans entraînement adverse, sans augmentation synthétique et sans post-traitement coûteux.

Principaux résultats

Nous évaluons des encodeurs AKOrN entraînés avec plusieurs méthodes d’apprentissage auto-supervisé sur CIFAR-10 :

Précision standard et robuste sur CIFAR-10 pour un encodeur AKOrN entraîné avec SimCLR, BYOL, SimSiam et PhiNet — Robustesse adverse sur CIFAR-10 avec un encodeur AKOrN : précision standard et précision sous attaque adverse, pour des méthodes contrastive (SimCLR) et non contrastives (BYOL, SimSiam, PhiNet).

Ce travail a été mené pendant mon stage de recherche à l’OIST, dans la Machine Learning and Data Science Unit du Pr Makoto Yamada. Une version étendue est disponible en prépublication sur arXiv.

Citer

Habibi, M.-Y., Ziu, K., & Yamada, M. (2025). "Neuroscience-Inspired Encoding and Learning: A Path to Robust Representation Learning." Women in Machine Learning (WiML) Workshop @ NeurIPS 2025.

@inproceedings{habibi2025neuroscience,
  title     = {Neuroscience-Inspired Encoding and Learning: A Path to Robust Representation Learning},
  author    = {Habibi, Mohammed-Yassine and Ziu, Klea and Yamada, Makoto},
  booktitle = {Women in Machine Learning (WiML) Workshop @ NeurIPS},
  year      = {2025},
  url       = {https://openreview.net/forum?id=3LERuKSX1B}
}