AI 에이전트 확산에 레드팀도 바뀐다…“행동 전체 점검해야”
|

AI 에이전트 확산에 레드팀도 바뀐다…“행동 전체 점검해야”

인공지능(AI) 에이전트가 외부 도구를 호출하고 데이터에 직접 접근하면서 AI 레드팀의 점검 범위도 넓어지고 있다. AI 모델이 유해한 답변을 내놓는지를 점검하는 데서 나아가 에이전트의 신원과 권한, 데이터 흐름, 도구 호출, 행동 경로 등 전체를 평가하는 프레임워크 구축도 본격화되고 있다.

AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야
|

AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야

인공지능(AI)이 챗봇에서 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. 이제 단순히 유해한 답변을 차단하는 것만으로는 안전을 확보하기 어려워졌다. 이에 AI가 어떤 정보에 접근하고 누구에게 정보를 보내는지, 현실에서는 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.

KISA, AI 서비스 레드팀 점검 기업 20곳 모집

KISA, AI 서비스 레드팀 점검 기업 20곳 모집

한국인터넷진흥원(KISA)이 인공지능(AI) 모델과 서비스의 잠재 취약점을 찾기 위해 ‘AI 레드팀 모의해킹 수행 및 취약점 발굴 지원’ 사업에 참여할 기업을 오는 30일까지 모집한다. 이번 사업은 KISA가 주관하며, 실제 사업 수행은 에임인텔리전스 컨소시엄과 NSHC가 맡는다.

오픈클로 확산이 키운 AI 에이전트 보안 위협

오픈클로 확산이 키운 AI 에이전트 보안 위협

오픈클로(OpenClaw) 같은 인공지능(AI) 에이전트의 보안 우려가 현실화하고 있다. 오픈클로는 답변형 AI를 넘어 사용자를 대신해 실제 작업을 수행하는 구조라, 오류가 단순 오답에 그치지 않고 정보 유출이나 의도하지 않은 작업 실행으로 번질 수 있다. 최근 실제 사고와 사용 제한 조치가 잇따르면서, 기업들은 AI 에이전트의 권한과 통제 방식부터 다시 따지기 시작했다.

End of content

End of content