L'ESSENTIEL EN 30 SECONDES

  • L'agent associe un planificateur de 8 milliards de paramètres, fondé sur Qwen3-VL-8B-Instruct, à un modèle d'ancrage de 3 milliards, et apprend grâce à des récompenses attribuées à chaque étape par un LLM juge.
  • Sur UINavBench, 116 tâches dans 36 apps iOS réelles, le meilleur point de contrôle atteint 32,4 % de réussite, contre 16,7 % après simple ajustement supervisé, 28,4 % pour Gemini-3.5-Flash et 32,4 % pour Gemini-3.1-Pro.
  • Il s'agit de recherche, pas d'un produit : les modèles Gemini restent nettement devant sur iOSWorld et AndroidWorld, et aucune publication du code n'est mentionnée.

Une équipe de chercheurs d'Apple a publié une méthode pour apprendre à un agent d'IA de taille modeste à utiliser des apps d'iPhone en s'exerçant sur des logiciels en fonctionnement, plutôt qu'en imitant des démonstrations enregistrées. L'article, signé Peitong Duan, Khashayar Gatmiry, Jeffrey Nichols, Samy Bengio et Emmanuel Abbe, a été mis en ligne sur arXiv le 29 octobre et figure aussi sur le site de recherche en apprentissage automatique d'Apple. Il s'agit de travaux de recherche, et non d'une fonction intégrée à un produit Apple.

Conception et entraînement de l'agent

Les auteurs partent d'un constat : les grands modèles vision-langage naviguent bien dans les interfaces mais coûtent trop cher pour un usage courant, tandis que les petits modèles entraînés par ajustement supervisé ou par renforcement hors ligne mémorisent des parcours figés et échouent dès qu'un imprévu survient. Leur réponse : l'apprentissage par renforcement en ligne, directement sur des apps iOS en cours d'exécution.

L'agent comporte deux briques. Un planificateur, fondé sur Qwen3-VL-8B-Instruct et préchauffé avec des données supervisées, choisit l'action suivante ; un modèle d'ancrage interne de 3 milliards de paramètres la traduit en appuis et en saisie de texte. Un LLM juge, Gemini-3.5-Flash, note chaque étape, et Gemini-3.1-Pro vérifie si la tâche est accomplie. L'entraînement repose sur PPO avec des avantages calculés pas à pas, ainsi que sur une variante baptisée GiGPPO, qui stabilise l'estimation de la valeur en s'appuyant sur les récompenses d'écrans visuellement proches rencontrés dans des essais parallèles. L'infrastructure fait tourner jusqu'à 512 appareils iOS virtuels simultanément.

Ce que disent les chiffres

Sur UINavBench, soit 116 tâches dans 36 apps iOS réelles, le meilleur point de contrôle PPO réussit 32,4 % des tâches, contre 16,7 % pour la base supervisée. Gemini-3.5-Flash, évalué avec le même dispositif, obtient 28,4 % et Gemini-3.1-Pro 32,4 % : c'est sur cette base que l'article affirme battre le premier et égaler le second sur des apps réelles. Sur AndroidWorld, jamais vu à l'entraînement, le taux passe de 4,7 % à 32,8 %, soit un gain proche d'un facteur sept.

Limites

Le tableau est moins flatteur ailleurs. Sur iOSWorld, un ensemble d'apps synthétiques, le meilleur résultat obtenu par renforcement plafonne à 9,8 %, sous Gemini-3.5-Flash (12,9 %) et très loin de Gemini-3.1-Pro (39,5 %) ; les auteurs qualifient eux-mêmes ces performances de modestes. Sur AndroidWorld, les modèles Gemini atteignent encore environ 58 à 61 %. Le module d'ancrage ne gère que des balayages directionnels, si bien que les balayages sont confiés à Gemini-3.5-Flash, qui joue aussi le rôle des utilisateurs simulés. L'article ne précise pas si le code ou les poids seront publiés.