L'ESSENTIEL EN 30 SECONDES

  • StreamVibe-VL examine le flux vidéo chaque seconde et choisit entre se taire et répondre ; une phase d'apprentissage par renforcement vise à limiter les interruptions inutiles.
  • Le benchmark associé compte environ 4 100 échantillons d'évaluation tirés de 183,4 heures de vidéo, entre tâches du quotidien et usage d'un ordinateur.
  • Le modèle devance les références open source dans les tests des auteurs, mais Gemini 3.8 Flash, modèle propriétaire de Google, obtient de meilleurs scores sur plusieurs mesures, et les performances chutent sur les vidéos longues.

Une prépublication déposée sur arXiv par des chercheurs de Google, de UC Santa Barbara, de UC Santa Cruz, de Stanford, de l'université d'Oxford, d'Emory et de Columbia décrit StreamVibe, un système conçu pour observer une personne en pleine tâche et décider seul du moment où un conseil serait utile : en cuisine, pendant le montage d'un meuble ou lors de la retouche d'une image dans un logiciel comme GIMP.

Trois briques : benchmark, modèle et mémoire

StreamVibe-Bench réunit environ 4 100 échantillons d'évaluation répartis entre demandes explicites, objectifs flous ou implicites et intentions qui évoluent en cours de route. Selon la page du projet, ils proviennent de 183,4 heures de vidéo, durent 8,3 minutes en moyenne et contiennent plus de 20 000 moments annotés où une aide serait pertinente. Ces moments ont été proposés par un modèle Gemini, et un échantillon n'était conservé qu'avec l'accord unanime des quatre relecteurs humains.

StreamVibe-VL est le modèle. À chaque pas d'une seconde, il voit la vidéo jusque-là et ses propres réponses précédentes, puis choisit entre le silence et une réponse. Il a d'abord été affiné sur 70 000 échantillons de tâches et un ensemble plus vaste de données vidéo génériques, puis entraîné par renforcement (GRPO) sur 15 000 tâches ; la récompense pénalise les réponses superflues, ce que The Decoder résume comme un apprentissage à moins interrompre. La page du projet indique Qwen3.5-9B comme modèle de base dans ses comparaisons. Un troisième élément, StreamVibe-Harness, garde la trace des demandes en attente, des étapes accomplies et des réponses passées.

Résultats et limites

Les auteurs annoncent un gain de 10,7 % sur le moment et la qualité des réponses par rapport aux modèles de référence, et 12,3 % supplémentaires en interaction proactive grâce au module de mémoire. Ils affirment que StreamVibe-VL obtient les meilleurs résultats open source à chaque niveau d'intention, sans l'emporter sur toutes les mesures. Les modèles propriétaires gardent l'avantage par endroits : dans les tableaux de l'article, Gemini 3.8 Flash atteint un score F1 de 81,00 sur les intentions implicites, contre 72,01 pour StreamVibe-VL.

D'après la lecture qu'en fait The Decoder, les résultats se dégradent lorsque les systèmes doivent traiter une vidéo entière en s'appuyant sur leurs propres réponses antérieures, car les erreurs s'accumulent. Le site rapporte qu'au-delà de cinq minutes, les modèles trouvent rarement le bon moment. Les auteurs reconnaissent eux-mêmes que les intentions implicites et changeantes restent difficiles pour tous les modèles testés, et que les situations réelles sont sans doute plus complexes que leur protocole.

Le code et les poids du modèle ne sont pas encore disponibles. La page du projet les annonce « bientôt » : les résultats ne peuvent pas encore être vérifiés de façon indépendante.