LO ESENCIAL EN 30 SEGUNDOS

  • El modelo ajustado a partir de VideoLLaMA2 alcanzó una exactitud media del 84,7 % en vídeos de conducción, por delante del mejor método convencional probado (SwinT, 81,3 %).
  • Una instrucción de razonamiento en dos pasos le hace describir la escena y sus riesgos antes de indicar si un choque es inminente.
  • Un modelo alumno Qwen2-VL de 2.200 millones de parámetros mantuvo cerca del 82,4 % de exactitud y bajó la latencia media de 2,78 s a 1,20 s por clip en una estación de trabajo con dos GPU.

Investigadores de Imperial College London han adaptado un modelo de visión y lenguaje (VLM) de propósito general para que avise, a partir de vídeo, de una colisión inminente entre vehículos y exponga el razonamiento de cada aviso. El trabajo, firmado por Ruici Zhang, Yuxiang Feng, Jose Escribano y Mohammed Quddus, del Centre for Transport Engineering and Modelling, se publicó el 30 de septiembre en Communications in Transportation Research y se difundió en un comunicado de Tsinghua University Press el 6 de noviembre.

Cómo funciona el modelo

El equipo partió de VideoLLaMA2 y lo ajustó con LoRA sobre fragmentos breves de conducción: la mitad grabados justo antes de un choque y la otra mitad en tráfico normal. Según el artículo, los fragmentos previos a una colisión proceden del conjunto MM-AU y los normales de CCD, con tres conjuntos de 3.000 fragmentos para horizontes de predicción de uno, dos y tres segundos.

En lugar de pedir un sí o un no, los autores usan una instrucción en dos fases: el modelo describe la escena y señala posibles riesgos, y luego decide si es probable un choque, de modo que cada predicción incluye una explicación.

Resultados comunicados

De media en los tres horizontes, el modelo personalizado logró un 84,7 % de exactitud, un 83,6 % de precisión y un 86,8 % de exhaustividad (recall), según el comunicado. El artículo lo compara con métodos convencionales de aprendizaje profundo; el mejor, un Swin Transformer, obtuvo un 81,3 % de exactitud, y VideoLLaMA2 sin modificar se quedó en el 67,1 %. El rendimiento baja al alargar el horizonte: cerca del 87 % a un segundo y del 82 % a tres.

Como un modelo de 8.400 millones de parámetros es lento, los autores lo destilaron en Qwen2-VL-2B alineando los estados ocultos del alumno con los del maestro. El modelo pequeño promedió un 82,4 % de exactitud y redujo la latencia de 2,78 a 1,20 segundos por fragmento, medida en una estación de trabajo con dos GPU Nvidia RTX A6000.

Límites y próximos pasos

Los autores reconocen varias restricciones. Las explicaciones son justificaciones generadas por el propio modelo; el equipo no examinó su razonamiento interno. No se usaron datos de velocidad, aceleración ni posición, algo que el artículo atribuye a la falta de conjuntos públicos de colisiones que los incluyan, y el modelo ajustado no se volvió a evaluar en pruebas generales. La latencia solo se midió en esa estación de trabajo, no en hardware embarcado, y aun el modelo destilado, con 1,2 segundos, queda cerca del horizonte más corto evaluado. El comunicado plantea incorporar datos cinemáticos y estudiar cómo razonan internamente los VLM. La financiación procede de las becas President's PhD Scholarships de Imperial.