앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개
앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.
앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.
고백하자면 나는 지금까지 ‘소버린 AI’를 외치는 목소리에 크게 귀를 기울이지 않았다. 오픈AI를 비롯한 글로벌 리더들과의 격차가 워낙 벌어졌고, 국내 그 어떤 기업이나 기관도 오픈AI나 구글, 앤트로픽과 같은 회사들처럼 투자를 할 여력이 없기 때문이다. 우리나라에서 GPT나 클로드 수준의 모델을 만들 수 있다면 좋겠지만, 현실적으로 불가능하다고 생각했다. 그러니 산업용 솔루션이나 피지컬AI와 같은 분야에 투자를 집중하는 것이 효율적 전략이라고 봤다.
앤트로픽은 일반 사용자용 인공지능(AI) 모델 ‘클로드 페이블5(Claude Fable 5)’와 제한 접근 모델 ‘클로드 미토스5(Claude Mythos 5)’를 출시했다고 9일 밝혔다. 앤트로픽은 고성능 AI의 사이버보안 기능이 공격에 악용될 가능성을 줄이기 위해 일반 모델과 신뢰 접근 모델을 분리해 제공한다.
End of content
End of content