Le Frontier Model Forum propose une échelle commune pour noter les jailbreaks cyber

Le Frontier Model Forum (FMF), groupement industriel dont font partie Amazon, Anthropic, Google DeepMind, Microsoft et OpenAI, a publié le 5 novembre la version 1.0 d’un cadre destiné à noter les jailbreaks liés aux menaces cyber de pointe. Le Forum définit un jailbreak comme une méthode reproductible qui contourne les garde-fous d’une version précise d’un modèle pour débloquer des capacités restreintes. L’objectif affiché : que les organisations cessent d’évaluer différemment un même jailbreak, puissent comparer leurs résultats et traiter en priorité les cas les plus risqués.

Quatre dimensions, deux axes

Chaque jailbreak reçoit une note de 0 à 3 sur quatre dimensions. Le gain de capacité mesure ce qu’il débloque par rapport aux modèles les plus performants en cybersécurité largement accessibles au moment de l’évaluation. La portée examine sa généralisation, d’un cas isolé et peu fiable jusqu’à une technique « universelle » valable pour des catégories de risque sans lien entre elles. La facilité de déploiement porte sur les compétences et le travail manuel nécessaires pour en faire une attaque opérationnelle ; la facilité de découverte estime les moyens requis pour la trouver, d’un budget d’inférence très élevé ou d’un accès privilégié au modèle jusqu’à un code de démonstration public.

Les deux premières notes s’additionnent en un axe de gravité, les deux dernières en un axe de probabilité. Une matrice de risque attribue ensuite un niveau : faible, moyen, élevé ou critique. Le gain de capacité sert de seuil et de garde-fou : une note nulle clôt l’évaluation à « négligeable », un gain minime ne peut atteindre « élevé » quelle que soit la facilité de l’attaque, et un gain de niveau frontière ne peut être classé « faible ». La spécification cite ExploitBench et ExploitGym comme premiers tests de filtrage, appelés à être remplacés à mesure qu’ils saturent ; un même jailbreak pourra donc être noté différemment avec le temps.

Ce que le cadre ne fait pas

Le FMF insiste sur le caractère relatif des notes. Elles n’estiment ni le préjudice réel ni le risque global d’un système déployé, qui dépend d’autres protections, et le niveau obtenu n’impose aucune réponse : la remédiation reste du ressort de chaque entreprise. Les cas situés sous le seuil « frontière » relèvent des outils classiques, comme les politiques d’utilisation.

Le document qualifie ses niveaux et seuils de préliminaires et admet ne pas avoir encore démontré que différents évaluateurs aboutissent à des notes similaires. Le Forum prévoit d’autres tests sur divers exemples de jailbreaks et des révisions au fil de l’évolution des techniques. Les commentaires peuvent être envoyés à comments@frontiermodelforum.org jusqu’au 21 décembre 2026 ; le FMF dit vouloir les examiner avec ses membres en vue d’une version mise à jour.