L'ESSENTIEL EN 30 SECONDES

  • Le modèle affiné à partir de VideoLLaMA2 atteint 84,7 % de précision moyenne sur des vidéos de conduite, devant la meilleure méthode classique testée (SwinT, 81,3 %).
  • Une invite en deux étapes de type chain-of-thought lui fait décrire la scène et ses risques avant de dire si une collision est imminente.
  • Un modèle élève Qwen2-VL de 2,2 milliards de paramètres conserve environ 82,4 % de précision et réduit la latence moyenne de 2,78 s à 1,20 s par clip sur une station de travail à deux GPU.

Des chercheurs d'Imperial College London ont adapté un modèle vision-langage (VLM) généraliste pour qu'il signale, à partir de vidéos, une collision imminente entre véhicules et qu'il justifie chacune de ses alertes. Les travaux de Ruici Zhang, Yuxiang Feng, Jose Escribano et Mohammed Quddus, du Centre for Transport Engineering and Modelling, ont paru le 30 septembre dans Communications in Transportation Research et ont fait l'objet d'un communiqué de Tsinghua University Press le 6 novembre.

Le fonctionnement du modèle

L'équipe est partie de VideoLLaMA2, affiné avec la méthode LoRA sur de courts extraits de conduite : la moitié filmés juste avant un accident, l'autre moitié en circulation normale. D'après l'article, les extraits précédant une collision proviennent du jeu de données MM-AU et les autres de CCD, avec trois ensembles de 3 000 extraits correspondant à des horizons de prédiction d'une, deux et trois secondes.

Plutôt que d'exiger un oui ou un non, les chercheurs utilisent une invite en deux temps : le modèle décrit la scène et repère les risques possibles, puis estime si un choc est probable. Chaque prédiction s'accompagne donc d'une explication.

Les résultats annoncés

En moyenne sur les trois horizons, le modèle personnalisé atteint 84,7 % de précision globale (accuracy), 83,6 % de précision au sens strict et 86,8 % de rappel, selon le communiqué. L'article le compare à des méthodes d'apprentissage profond classiques, dont la meilleure, un Swin Transformer, obtient 81,3 % ; VideoLLaMA2 non modifié plafonne à 67,1 %. Les performances baissent quand l'horizon s'allonge : environ 87 % à une seconde, environ 82 % à trois secondes.

Un modèle de 8,4 milliards de paramètres étant lent, les auteurs l'ont distillé dans Qwen2-VL-2B en alignant les états internes de l'élève sur ceux du modèle maître. Le petit modèle obtient 82,4 % de précision moyenne et ramène la latence de 2,78 à 1,20 seconde par extrait, mesurée sur une station de travail équipée de deux GPU Nvidia RTX A6000.

Limites et suites

Les auteurs reconnaissent plusieurs contraintes. Les explications sont les justifications produites par le modèle lui-même ; l'équipe n'a pas analysé son raisonnement interne. Aucune donnée de vitesse, d'accélération ou de position n'a été utilisée, faute, selon l'article, de jeux de données publics de collisions qui en contiennent, et le modèle affiné n'a pas été réévalué sur des tests généralistes. La latence n'a été mesurée que sur cette station de travail, pas sur du matériel embarqué, et même le modèle distillé, à 1,2 seconde, reste proche du plus court horizon testé. Le communiqué évoque, pour la suite, l'ajout de données cinématiques et l'étude du raisonnement interne des VLM. L'article indique un financement par les bourses doctorales President's PhD Scholarships d'Imperial.