앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개
|

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개

앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.

[그게 뭔가요] 피지컬 AI의 엔진 ‘VLA’

[그게 뭔가요] 피지컬 AI의 엔진 ‘VLA’

인공지능(AI) 기술 트렌드의 중심이 에이전틱 AI에 이어 피지컬 AI로 향하고 있다. VLA는 피지컬 AI 시장의 핵심 엔진으로 꼽힌다. 하지만 안전성보다 속도를 우선하는 개발 관행이 누적되면 VLA는 언제라도 인류를 겨누는 칼날이 될 수 있다.

[에이전트와 보안③] AI 에이전트, 어떻게 통제해야 하나?
| |

[에이전트와 보안③] AI 에이전트, 어떻게 통제해야 하나?

메일을 읽고, 문서를 찾고, 외부 도구를 호출해 일을 처리하는 AI 에이전트는 이미 업무 환경에 들어왔다. AI 에이전트는 단순히 답을 내놓는 도구가 아니라 권한을 가진 실행 주체다. 그만큼 보안도 모델의 답변을 점검하는 수준에서 멈춰서는 안된다. AI 에이전트를 통제하려면 어떤 권한을 줄 것인지, 어떤 도구와 연결할 것인지, 어떤 환경에서 실행할 것인지부터 정해야 한다. 위험한 입력과 출력은 중간에서 걸러야 하고, 실행 환경은 격리해야 한다. 어떤 행동을 했는지 추적할 수 있는 로그와 배포 전 시험 평가도 필요하다.

End of content

End of content