피지컬 AI 시장 문 두드리는 국내 보안 기업들
|

피지컬 AI 시장 문 두드리는 국내 보안 기업들

인공지능(AI)이 로봇과 자동차, 산업설비를 직접 움직이는 ‘피지컬 AI’로 확장되면서 국내 보안기업들도 관련 시장에 발을 들이고 있다. 기업들은 기존에 확보한 AI 보안과 인증, 산업제어시스템, 자동차 사이버보안 기술을 활용해 모델과 로봇 행동을 검증하거나 신원·권한을 관리하고, 센서부터 제어기까지 시스템 전체를 점검하고 있다. 피지컬 AI는 카메라와 센서로 주변 환경을 인식한 뒤 로봇·차량·선박 등 기계를 움직이는 AI를 말한다. AI 모델과 센서, 통신망, 제어기, 모터가 하나로 연결되기 때문에 공격이나 판단 오류가 충돌과 장비 파손 같은 물리적 사고로 이어질 수 있다.

AI 에이전트 확산에 레드팀도 바뀐다…“행동 전체 점검해야”
|

AI 에이전트 확산에 레드팀도 바뀐다…“행동 전체 점검해야”

인공지능(AI) 에이전트가 외부 도구를 호출하고 데이터에 직접 접근하면서 AI 레드팀의 점검 범위도 넓어지고 있다. AI 모델이 유해한 답변을 내놓는지를 점검하는 데서 나아가 에이전트의 신원과 권한, 데이터 흐름, 도구 호출, 행동 경로 등 전체를 평가하는 프레임워크 구축도 본격화되고 있다.

AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야
|

AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야

인공지능(AI)이 챗봇에서 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. 이제 단순히 유해한 답변을 차단하는 것만으로는 안전을 확보하기 어려워졌다. 이에 AI가 어떤 정보에 접근하고 누구에게 정보를 보내는지, 현실에서는 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.

KISA, AI 서비스 레드팀 점검 기업 20곳 모집

KISA, AI 서비스 레드팀 점검 기업 20곳 모집

한국인터넷진흥원(KISA)이 인공지능(AI) 모델과 서비스의 잠재 취약점을 찾기 위해 ‘AI 레드팀 모의해킹 수행 및 취약점 발굴 지원’ 사업에 참여할 기업을 오는 30일까지 모집한다. 이번 사업은 KISA가 주관하며, 실제 사업 수행은 에임인텔리전스 컨소시엄과 NSHC가 맡는다.

오픈클로 확산이 키운 AI 에이전트 보안 위협

오픈클로 확산이 키운 AI 에이전트 보안 위협

오픈클로(OpenClaw) 같은 인공지능(AI) 에이전트의 보안 우려가 현실화하고 있다. 오픈클로는 답변형 AI를 넘어 사용자를 대신해 실제 작업을 수행하는 구조라, 오류가 단순 오답에 그치지 않고 정보 유출이나 의도하지 않은 작업 실행으로 번질 수 있다. 최근 실제 사고와 사용 제한 조치가 잇따르면서, 기업들은 AI 에이전트의 권한과 통제 방식부터 다시 따지기 시작했다.

End of content

End of content