Anthropic, Claude Fable 5의 사이버 보호 장치와 공통 탈옥 심각도 척도를 상세히 공개

7월 2일, Anthropic은 Claude Fable 5의 보호 장치를 상세히 들여다본 글을 공개했다. 이 모델은 미국 수출 통제로 인한 짧은 중단을 거쳐 7월 1일에 재배포된 고성능 모델이다. 이 글은 AI 코딩 도구로 개발하는 모든 사람에게 중요하다. 프런티어 모델이 어떤 보안 관련 요청을 도와줄지, 그리고 어떤 요청을 돕지 않을지를 정확히 설명하고 있기 때문이다.

일괄 차단 대신 네 단계 분류

Anthropic에 따르면, Fable 5는 보안과 관련된 모든 것을 거부하는 대신 요청을 분류기에 통과시켜 네 가지 범주로 분류한다.

• 금지된 사용 — 방어적 가치가 거의 또는 전혀 없는 활동으로, 차단된다.
• 고위험 이중 용도 — 공격자에게 광범위하게 악용되지만 정당한 용도도 있는 기법. 더 강력한 인가 통제가 마련될 때까지 차단된다.
• 저위험 이중 용도 — 대체로 방어적인 작업으로, 모니터링되며 때때로 차단된다.
• 무해한 사용 — 해를 끼치지 않는 일상적인 작업으로, 모니터링을 조건으로 허용된다.

개발자에게 주는 실질적 시사점은 이렇다. 보안 코딩, 패치 관리, 로그 분석, 사고 대응 같은 일상적 작업은 무해 또는 저위험 범주에 속하며 정상적으로 작동하도록 설계되어 있다. Anthropic은 분류기가 신중한 쪽으로 기울어 있어, 정당한 보안 작업에 대한 오차단이 이따금 발생할 수 있다고 밝혔다.

탈옥을 위한 심각도 척도

더 새로운 부분은 Amazon, Microsoft, Google을 포함한 Glasswing 파트너들과 함께 개발한 사이버 탈옥 심각도(CJS) 척도 제안이다. "탈옥(jailbreak)"이란 모델이 자체 보호 장치를 우회하도록 만드는 프롬프트 기법을 말한다. 오늘날 업계에는 특정 탈옥이 얼마나 심각한지를 표현할 공통된 방법이 없다.

CJS 척도는 **CJS-0(정보 수준)**부터 **CJS-4(치명적)**까지 이어지며, 각 탈옥을 네 가지 축으로 평가한다.

• 능력 향상 — 공격자를 기존 도구 너머로 얼마나 멀리 데려가는가.
• 능력의 폭 — 동일한 기법이 얼마나 많은 서로 다른 공격 작업을 열어주는가.
• 무기화 용이성 — 실제로 배포하는 데 드는 노력.
• 발견 가능성 — 위협 행위자가 해당 기법을 얼마나 쉽게 찾아낼 수 있는가.

이 개념은 CVSS가 소프트웨어 취약점을 평가하는 방식을 반영한다. 공통 용어가 있으면 공급업체와 연구자가 특정 익스플로잇이 "심각한지"를 두고 논쟁하는 대신 일관되게 분류할 수 있다.

연구자를 초대하다

이 프레임워크와 함께 Anthropic은 HackerOne 프로그램을 시작했다. 여기서 보안 연구자들은 Fable 5에서 발견한 사이버 탈옥을 검토를 위해 제출할 수 있다. 회사는 재배포 시 도입한 분류기가 이전 중단을 촉발한 특정 탈옥을 재현하려는 시도의 99% 이상을 차단한다고 밝혔다.

개발을 배우는 사람들에게 중요한 이유

AI의 도움을 받아 소프트웨어를 출시하는 법을 배우고 있다면, 이는 도구가 위험을 어떻게 판단하는지 들여다볼 수 있는 유용한 창이다. 두 가지 시사점이 있다. 첫째, 방어적·교육적 보안 작업은 명시적으로 지원되므로, 유능한 어시스턴트가 입력 검증 작성이나 자기 코드의 결함 검토 같은 일상적 작업을 거부할 것이라고 기대할 필요는 없다. 둘째, 모델 제공업체들은 일회성 정책 대신 공통되고 측정 가능한 안전 기준으로 나아가고 있다. 이는 생태계가 성숙해지고 있다는 신호이며, 다른 연구소들이 채택할 수도 있는 프레임워크다.

Anthropic은 CJS 척도가 완성된 표준이 아니라 업계의 논의를 시작하기 위한 초기 초안임을 분명히 밝혔다. 그러나 이는 보안 세계가 이미 소프트웨어 버그에 적용하는 것과 같은 엄격함으로 AI 안전 사고를 다루려는 구체적인 한 걸음이다.