L'ESSENTIEL EN 30 SECONDES

  • La prépublication, mise en ligne le 29 octobre, démontre que des JEPA entraînés sur de « bonnes vues » des mêmes scènes convergent vers une représentation unique à une rotation près, sous des conditions idéalisées.
  • Sur un test d'alignement, un JEPA textuel a égalé la prédiction du mot suivant avec environ 42 fois moins d'échantillons tirés du même corpus.
  • L'article n'a pas été relu par des pairs ; les auteurs citent des limites, dont de petits modèles d'image, des résultats sur une seule graine et un lien seulement heuristique avec les modèles de langage.

Randall Balestriero et Yann LeCun ont publié le 29 octobre sur arXiv une prépublication qui cherche à donner une base mathématique à une observation bien connue en IA. Intitulé « Proving and Improving the Platonic Representation Hypothesis with JEPAs », l'article rattache les deux auteurs à AMI Labs, ainsi qu'à l'université Brown pour Balestriero et à l'université de New York pour LeCun. Il n'a pas été évalué par des pairs.

De l'hypothèse au théorème

L'hypothèse de la représentation platonicienne, formulée dans un article antérieur, veut que des réseaux entraînés sur des données et des modalités différentes convergent vers des représentations internes proches. Balestriero et LeCun s'intéressent aux architectures prédictives à plongement joint (JEPA), une approche auto-supervisée dans laquelle le modèle apprend en prédisant le plongement d'une vue d'un objet à partir d'une autre vue.

Leur résultat principal établit que si des JEPA distincts, un par modalité, sont entraînés sur des paires formées de deux observations de la même scène, ce que les auteurs appellent de bonnes vues, leurs encodeurs optimaux sont identiques à une seule rotation près. Un second résultat borne l'écart lorsque les paires diffèrent. Les auteurs avancent ensuite que la prédiction du mot suivant se comporte comme un JEPA à mauvaises vues, puisque ses paires sont des fragments d'un même document ; cela expliquerait pourquoi les modèles de langage ne s'alignent sur les modèles de vision qu'à grande échelle. Ils jugent eux-mêmes ce lien heuristique.

Les démonstrations reposent sur des hypothèses simplificatrices : un monde fini, un entraînement idéal plutôt que sur un échantillon fini, un prédicteur identité fixe et, pour l'objectif LeJEPA des expériences, une unicité à rotation près supposée.

Ce que montrent les expériences

Les tests portent sur Flickr30k avec de petits encodeurs d'image et de texte, sur les légendes de jusqu'à 940 millions d'images web issues de Recap-DataComp et sur des vidéos de MSR-VTT. L'alignement est mesuré par la fréquence à laquelle les plus proches voisins d'un modèle coïncident avec ceux d'un modèle de vision DINOv2 figé. Sur ce critère, un JEPA textuel à bonnes vues atteint le même niveau que la prédiction du mot suivant sur le même corpus avec environ 21,6 millions d'échantillons au lieu de 900 millions, soit près de 42 fois moins (environ 14 fois moins de tokens de texte). Un JEPA textuel de 109 millions de paramètres obtient un meilleur score que Qwen2.5-72B sur ce même test. Selon les auteurs, une simple rotation permet aussi à des encodeurs séparés de légender des images.

Réserves

Le facteur 42 concerne l'alignement entre modalités, pas les capacités linguistiques en général. L'article reconnaît que la plupart des expériences sur l'image utilisent un ViT-S entraîné sur 29 000 images, que certains résultats reposent sur une seule graine aléatoire et que l'entraînement peut s'effondrer sans écrêtage du gradient. Aucune réplication indépendante n'a encore été publiée.