LO ESENCIAL EN 30 SEGUNDOS

  • El preprint, publicado el 29 de octubre, demuestra que los JEPA entrenados con «buenas vistas» de las mismas escenas convergen en una única representación salvo una rotación, bajo condiciones idealizadas.
  • En una prueba de alineación, un JEPA de texto igualó a la predicción del siguiente token con unas 42 veces menos muestras del mismo corpus.
  • El trabajo no ha pasado revisión por pares; los autores señalan límites como modelos de imagen pequeños, resultados con una sola semilla y un vínculo solo heurístico con los modelos de lenguaje.

Randall Balestriero y Yann LeCun publicaron el 29 de octubre en arXiv un preprint que busca dar base matemática a una observación conocida en IA. El artículo, titulado «Proving and Improving the Platonic Representation Hypothesis with JEPAs», sitúa a ambos autores en AMI Labs, además de a la Universidad Brown (Balestriero) y a la Universidad de Nueva York (LeCun). No ha sido revisado por pares.

De la hipótesis al teorema

La hipótesis de la representación platónica, planteada en un artículo anterior, sostiene que las redes entrenadas con datos y modalidades diferentes tienden a converger en representaciones internas parecidas. Balestriero y LeCun estudian las arquitecturas predictivas de incrustación conjunta (JEPA), un enfoque autosupervisado en el que el modelo aprende prediciendo la incrustación de una vista de algo a partir de otra.

Su resultado principal afirma que, si varios JEPA independientes, uno por modalidad, se entrenan con pares que son dos observaciones de la misma escena, lo que los autores llaman buenas vistas, sus codificadores óptimos coinciden salvo una única rotación. Un segundo resultado acota cuánto pueden separarse cuando los pares difieren. Los autores sostienen además que la predicción del siguiente token funciona como un JEPA con malas vistas, porque sus pares son fragmentos de un mismo documento, lo que explicaría que los modelos de lenguaje solo se alineen con los de visión a gran escala. Ellos mismos califican ese vínculo de heurístico.

Las demostraciones dependen de supuestos simplificadores: un mundo finito, un entrenamiento ideal en lugar de uno con muestras finitas, un predictor identidad fijo y, para el objetivo LeJEPA de los experimentos, la unicidad salvo rotación tomada como supuesto.

Qué muestran los experimentos

Las pruebas usaron Flickr30k con codificadores pequeños de imagen y texto, los textos de hasta 940 millones de imágenes web de Recap-DataComp y vídeos de MSR-VTT. La alineación se midió según la frecuencia con que los vecinos más cercanos de un modelo coinciden con los de un modelo de visión DINOv2 congelado. Con esa métrica, un JEPA de texto con buenas vistas alcanzó el nivel de la predicción del siguiente token en el mismo corpus con unos 21,6 millones de muestras en lugar de 900 millones, unas 42 veces menos (unas 14 veces menos tokens de texto). Un JEPA de texto de 109 millones de parámetros superó a Qwen2.5-72B en esa misma prueba. Según los autores, basta además una rotación para que codificadores separados describan imágenes.

Advertencias

El factor 42 mide la alineación entre modalidades, no la capacidad lingüística. El propio artículo reconoce que la mayoría de los experimentos de imagen usan un ViT-S entrenado con 29.000 imágenes, que algunos resultados proceden de una sola semilla y que el entrenamiento puede colapsar sin recorte de gradiente. Todavía no hay réplicas independientes.