LO ESENCIAL EN 30 SEGUNDOS

  • StreamVibe-VL revisa el flujo de vídeo cada segundo y elige entre callar o responder; una fase de aprendizaje por refuerzo busca reducir las interrupciones innecesarias.
  • El benchmark asociado reúne unas 4.100 muestras de evaluación extraídas de 183,4 horas de vídeo sobre tareas cotidianas y uso del ordenador.
  • El modelo supera a las referencias de código abierto en las pruebas de los autores, pero Gemini 3.8 Flash, modelo propietario de Google, puntúa más alto en varias métricas, y el rendimiento cae en vídeos largos.

Un preprint publicado en arXiv por investigadores de Google, UC Santa Barbara, UC Santa Cruz, Stanford, la Universidad de Oxford, Emory y Columbia describe StreamVibe, un sistema pensado para observar a alguien mientras trabaja y decidir por sí mismo cuándo conviene dar una indicación, por ejemplo al cocinar, al montar un mueble o al editar una imagen en un programa como GIMP.

Tres componentes: benchmark, modelo y memoria

StreamVibe-Bench contiene unas 4.100 muestras de evaluación repartidas entre peticiones explícitas, objetivos vagos o implícitos e intenciones que cambian con el tiempo. Según la página del proyecto, proceden de 183,4 horas de vídeo, duran 8,3 minutos de media e incluyen más de 20.000 momentos anotados en los que sería oportuno ayudar. Un modelo Gemini propuso esos momentos y cada muestra solo se conservó si la aprobaban los cuatro revisores humanos.

StreamVibe-VL es el modelo. En cada paso de un segundo ve el vídeo hasta ese punto y sus respuestas anteriores, y decide entre guardar silencio o responder. Primero se ajustó con 70.000 muestras de tareas y un conjunto mayor de datos generales de vídeo en streaming, y después se entrenó con aprendizaje por refuerzo (GRPO) sobre 15.000 tareas; la recompensa castiga las respuestas de más, lo que The Decoder describe como enseñarle a interrumpir menos. La página del proyecto muestra Qwen3.5-9B como modelo base en sus comparativas. Un tercer elemento, StreamVibe-Harness, registra las peticiones pendientes, los pasos completados y las respuestas previas.

Resultados y límites

Los autores informan de una mejora del 10,7 % en el momento y la calidad de las respuestas frente a los modelos de referencia, y de otro 12,3 % en interacción proactiva gracias al módulo de memoria. Afirman que StreamVibe-VL logra los mejores resultados de código abierto en todos los niveles de intención, aunque no en cada métrica. Los modelos propietarios siguen por delante en algunos casos: en las tablas del artículo, Gemini 3.8 Flash alcanza un F1 de 81,00 en intenciones implícitas, frente a 72,01 de StreamVibe-VL.

Según la lectura de The Decoder, los resultados empeoran cuando los sistemas deben procesar un vídeo completo apoyándose en sus propias respuestas anteriores, porque los errores se acumulan. El medio señala que en vídeos de más de cinco minutos los modelos rara vez aciertan el momento. Los propios autores admiten que las intenciones implícitas y cambiantes siguen siendo difíciles para todos los modelos evaluados y que las situaciones reales probablemente sean más complejas que su configuración.

El código y los pesos del modelo aún no están disponibles. La página del proyecto los marca como «próximamente», así que los resultados aún no pueden comprobarse de forma independiente.