Anthropic détaille les garde-fous cyber de Claude Fable 5 et une échelle de gravité partagée pour les jailbreaks

Le 2 juillet, Anthropic a publié un examen détaillé des garde-fous derrière Claude Fable 5, le modèle à hautes capacités qu'elle a redéployé le 1er juillet après une brève suspension liée aux contrôles à l'exportation des États-Unis. Ce billet concerne quiconque construit avec des outils de programmation dopés à l'IA, car il expose précisément comment un modèle de pointe décide des requêtes liées à la sécurité qu'il acceptera d'aider — et de celles qu'il refusera.

Quatre niveaux plutôt qu'un blocage général

Plutôt que de refuser tout ce qui touche à la sécurité, Anthropic indique que Fable 5 fait passer les requêtes par des classificateurs qui les répartissent en quatre catégories :

• Usage interdit — activités à faible valeur défensive, voire nulle, qui sont bloquées.
• Double usage à haut risque — techniques largement détournées par les attaquants mais qui ont aussi des usages légitimes ; elles sont bloquées en attendant des contrôles d'autorisation plus solides.
• Double usage à faible risque — travail essentiellement défensif, surveillé et parfois bloqué.
• Usage bénin — travail quotidien sans danger, autorisé sous surveillance.

Conséquence pratique pour les développeurs : les tâches courantes comme le codage sécurisé, la gestion des correctifs, l'analyse des journaux et la réponse aux incidents relèvent des catégories bénigne ou faible risque et sont censées fonctionner normalement. Anthropic note que les classificateurs pèchent par excès de prudence, si bien que des blocages erronés occasionnels d'un travail de sécurité légitime restent possibles.

Une échelle de gravité pour les jailbreaks

L'élément le plus novateur est une échelle proposée de Gravité des Jailbreaks Cyber (CJS), développée avec des partenaires de Glasswing dont Amazon, Microsoft et Google. Un « jailbreak » est une astuce de prompt qui amène un modèle à contourner ses propres garde-fous ; aujourd'hui, l'industrie n'a aucun moyen commun de dire à quel point un jailbreak donné est grave.

L'échelle CJS va de CJS-0 (Informatif) à CJS-4 (Critique) et évalue chaque jailbreak selon quatre axes :

• Gain de capacité — jusqu'où il mène un attaquant au-delà des outils existants.
• Étendue de la capacité — combien de tâches offensives distinctes la même astuce débloque.
• Facilité d'armement — l'effort nécessaire pour réellement le déployer.
• Découvrabilité — avec quelle facilité un acteur malveillant pourrait trouver la technique.

L'idée reflète la façon dont CVSS note les vulnérabilités logicielles : un vocabulaire commun permet aux fournisseurs et aux chercheurs de trier de manière cohérente au lieu de débattre pour savoir si un exploit donné est « grave ».

Faire entrer les chercheurs

Parallèlement au cadre, Anthropic a lancé un programme HackerOne où les chercheurs en sécurité peuvent soumettre pour examen les jailbreaks cyber qu'ils découvrent dans Fable 5. L'entreprise affirme que le classificateur déployé lors du redéploiement bloque plus de 99 % des tentatives de reproduire le jailbreak spécifique qui avait provoqué la pause précédente.

Pourquoi c'est important pour ceux qui apprennent à construire

Si vous apprenez à livrer des logiciels avec l'aide de l'IA, c'est une fenêtre utile sur la manière dont les outils raisonnent face au risque. Deux enseignements : d'abord, le travail de sécurité défensif et éducatif est explicitement pris en charge, vous ne devriez donc pas vous attendre à ce qu'un assistant compétent refuse des tâches ordinaires comme écrire une validation d'entrées ou relire votre propre code à la recherche de failles. Ensuite, les fournisseurs de modèles s'orientent vers des normes de sécurité communes et mesurables plutôt que des politiques ponctuelles — signe que l'écosystème mûrit, et un cadre que d'autres laboratoires pourraient adopter.

Anthropic est claire : l'échelle CJS est une première ébauche destinée à lancer une conversation dans l'industrie, pas une norme achevée. Mais c'est un pas concret vers un traitement des incidents de sécurité de l'IA avec la même rigueur que le monde de la sécurité applique déjà aux bugs logiciels.