LO ESENCIAL EN 30 SEGUNDOS

  • El agente combina un planificador de 8.000 millones de parámetros, basado en Qwen3-VL-8B-Instruct, con un modelo de anclaje de 3.000 millones, y aprende de recompensas que un LLM juez asigna a cada paso.
  • En UINavBench, 116 tareas en 36 apps reales de iOS, el mejor punto de control logra un 32,4 % de éxito, frente al 16,7 % del ajuste supervisado, el 28,4 % de Gemini-3.5-Flash y el 32,4 % de Gemini-3.1-Pro.
  • Es investigación, no un producto: los modelos Gemini siguen muy por delante en iOSWorld y AndroidWorld, y no se menciona la publicación del código.

Un equipo de investigadores de Apple ha publicado un método para enseñar a un agente de IA relativamente pequeño a manejar apps de iPhone practicando con software en funcionamiento, en lugar de copiar demostraciones grabadas. El artículo, firmado por Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio y Emmanuel Abbe, se subió a arXiv el 29 de octubre y aparece también en la web de investigación en aprendizaje automático de Apple. Se trata de un trabajo de investigación, no de una función de ningún producto de la compañía.

Cómo se construye y entrena el agente

Los autores sostienen que los grandes modelos de visión y lenguaje navegan bien por las interfaces pero resultan demasiado caros para el uso diario, mientras que los modelos pequeños entrenados con ajuste supervisado o refuerzo fuera de línea memorizan recorridos fijos y fallan cuando algo se tuerce. Su propuesta es el aprendizaje por refuerzo en línea sobre apps de iOS en ejecución.

El agente tiene dos piezas. Un planificador, basado en Qwen3-VL-8B-Instruct y calentado antes con datos supervisados, decide el siguiente paso; un modelo interno de anclaje de 3.000 millones de parámetros lo convierte en toques y escritura de texto. Un LLM juez, Gemini-3.5-Flash, puntúa cada paso, y Gemini-3.1-Pro comprueba si la tarea se completó. El entrenamiento usa PPO con ventajas calculadas paso a paso y una variante llamada GiGPPO, que estabiliza la estimación del valor aprovechando las recompensas de pantallas visualmente parecidas vistas en ejecuciones paralelas. La infraestructura mueve hasta 512 dispositivos iOS virtuales a la vez.

Qué dicen las cifras

En UINavBench, 116 tareas en 36 apps reales de iOS, el mejor punto de control de PPO acierta el 32,4 % de las veces, frente al 16,7 % de la base supervisada. Gemini-3.5-Flash, probado con la misma configuración de agente, obtiene un 28,4 % y Gemini-3.1-Pro un 32,4 %; de ahí la afirmación del artículo de que supera al primero e iguala al segundo en apps reales. En AndroidWorld, que el agente no vio durante el entrenamiento, el éxito pasa del 4,7 % al 32,8 %, casi siete veces más.

Límites

En otras pruebas el balance es peor. En iOSWorld, un conjunto de apps sintéticas, el mejor resultado con refuerzo es del 9,8 %, por debajo de Gemini-3.5-Flash (12,9 %) y muy lejos de Gemini-3.1-Pro (39,5 %); los propios autores lo califican de modesto. En AndroidWorld, los modelos Gemini siguen rondando entre el 58 % y el 61 %. El módulo de anclaje solo admite deslizamientos direccionales, por lo que estos se delegan en Gemini-3.5-Flash, que además interpreta a los usuarios simulados. El artículo no aclara si se publicarán el código o los pesos.