L'ESSENTIEL EN 30 SECONDES
- Arete-27B est un affinage supervisé de Qwen3.8-27B sur environ 52,8 millions de jetons, sans apprentissage par renforcement ni optimisation des préférences.
- Sur l'évaluation de 803 questions conçue par Nous et notée par Grok 4.7, la part de réponses propagandistes tombe de 22 % à 0,9 %, et le score factuel moyen passe de 2,32 à 2,98 sur 5.
- Les résultats sont autodéclarés, le test et le juge sont ceux de Nous, et l'entreprise reconnaît ne pas avoir corrigé tous les comportements en cause.
Nous Research a mis en ligne le 6 novembre Arete-27B, un modèle de 27 milliards de paramètres dérivé de Qwen3.8-27B, développé par Alibaba. Selon le laboratoire, le modèle de base a tendance à refuser, à éluder ou à reprendre le cadrage du gouvernement chinois face aux questions politiquement sensibles ; son objectif affiché est de renforcer des « valeurs occidentales » dans un modèle entraîné en Chine. Les poids sont publiés sur Hugging Face sous licence Apache 2.0, avec les paires d'entraînement et le jeu d'évaluation.
Un entraînement volontairement simple
D'après la fiche du modèle, Arete-27B n'a subi qu'un affinage supervisé : ni apprentissage par renforcement, ni optimisation des préférences, ni modification de l'architecture. Nous a généré environ 20 000 questions réparties en sept thèmes, dont la liberté d'expression, l'idéologie d'État, la démocratie ou la vie privée et la surveillance, avant d'éliminer les doublons et tout recoupement avec le jeu de test. Les réponses proviennent d'un modèle enseignant, Inkling, que The Decoder présente comme un grand modèle ouvert de Thinking Machines Lab, mêlées à des réponses de Qwen lui-même. L'entraînement a duré deux époques sur environ 52,8 millions de jetons ; l'encodeur visuel a été gelé, les données étant uniquement textuelles.
Ce qu'avance Nous
Le laboratoire a bâti un test de 803 questions, appuyé sur des faits tirés de sources datées, et confié la notation à Grok 4.7, de xAI. Sur ce test, la part de réponses contenant de la propagande recule de 22 % à 0,9 %, et le score factuel moyen passe de 2,32 à 2,98 sur 5. L'écart le plus net concerne la liberté d'expression, où la propagande chute de 60 % à environ 1 %. Sur Hermes Bench, un banc d'essai interne, le modèle obtient 65,60 % contre 65,77 % pour la base, ce que Nous interprète comme l'absence de perte de capacités générales. La hausse de trois points sur Terminal-Bench 2.1 n'est pas présentée comme un vrai progrès, les configurations étant différentes.
Réserves
Tous les chiffres viennent de Nous. Le test, le juge automatique et la grille ont été conçus en interne, et le juge n'a été calibré que sur un pilote de 25 questions notées à la main. Les paramètres de décodage varient d'une ligne à l'autre du tableau comparatif, et le résultat avec raisonnement activé ne repose que sur deux essais sur cinq. Le laboratoire dit s'être attaqué à ce qu'il considère comme une cause profonde, non à l'ensemble des biais, et assume le choix des valeurs visées comme un parti pris normatif. L'article de The Decoder ne fait état d'aucune vérification indépendante à ce stade.
