Tencent Hunyuan détaille Hy-Nomas, un modèle de monde ouvert de 8 milliards de paramètres piloté par texte et caméra, compatible RTX 4090

L'équipe Hunyuan de Tencent a publié le rapport technique de Hy-Nomas, un modèle de monde vidéo interactif que l'utilisateur oriente tour après tour à l'aide d'instructions écrites et de mouvements de caméra. L'article arXiv est daté du 27 octobre. Le modèle, lui, était arrivé plus tôt et sans annonce : d'après OrcaRouter, le dépôt Hugging Face a été créé le 21 octobre, et les poids comme le code ont été mis en ligne le 23, sans billet de blog ni publication scientifique à ce moment-là.

Le fonctionnement

Hy-Nomas s'appuie sur un réseau de diffusion de 8 milliards de paramètres. Plutôt que de produire un clip unique à partir d'une seule consigne, il génère une suite de segments vidéo de longueur variable, chacun conditionné par le dernier texte et le dernier mouvement de caméra fournis, ainsi que par une mémoire de ce qui a déjà été généré.

Les auteurs mettent en avant deux choix de conception. Des légendes vidéo structurées sont associées à une attention causale sensible aux actions : la description de la scène se transmet d'un segment à l'autre, tandis qu'une instruction, un déplacement ou un événement par exemple, ne s'applique que pendant sa propre fenêtre temporelle. Un « Prompt Enhancer » de type vision-langage transforme ensuite les demandes approximatives et l'historique des échanges en conditions structurées pour le segment suivant. L'entraînement se termine par une distillation qui réduit le nombre d'étapes de débruitage.

Le faire tourner chez soi

Par défaut, l'inférence se répartit sur huit GPU, mais l'article décrit un mode à une seule RTX 4090 : poids et cache d'attention stockés en INT8, attention à fenêtre glissante et déchargement vers le processeur. Dans ce mode, les auteurs mesurent un pic de 20,53 Gio de mémoire GPU pour une vidéo de 100 secondes en sept segments, en 1280×704 à 24 images par seconde. Ce chiffre correspond à la vitesse de lecture : le rapport ne donne pas la vitesse de génération, et AlphaSignal souligne que la perte de qualité liée aux raccourcis INT8 n'est pas mesurée.

Promesses et réserves

Tencent a publié les poids, le code et Hy-Nomas-Bench, un ensemble de 280 cas de test dont certains exigent des vidéos de plus d'une minute. OrcaRouter et AlphaSignal indiquent tous deux une licence Apache 2.0, l'encodeur de texte Qwen2.5-VL utilisé conservant toutefois ses propres conditions. Dans l'article, des évaluateurs humains ont comparé Hy-Nomas deux à deux avec Genie 3, LingBot-World v2 et Happy Oyster, et les auteurs affirment que leur modèle l'emporte ; ces résultats n'ont pas encore été reproduits de façon indépendante.