인공지능(AI) 에이전트가 사람의 통제를 벗어나 서로 정보를 공유하고 외부 시스템을 공격하는 사례가 잇따르면서 AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)’의 필요성이 커지고 있다.
최근 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI)의 평가에서도 AI 에이전트가 실제 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다.
국내 화이트해커들이 참여한 팀들이 세계적인 해킹방어대회 ‘데프콘 CTF 34(DEF CON CTF 34)’에서 2·3·4위를 차지했다. 올해 예선에는 686개팀이 참가했으며 12개팀이 본선에 진출했다. 이 가운데 국내 참가팀은 6개였다.
포티넷(한국 대표 대행 밴 컨)은 한국 기업의 인공지능(AI) 보안 운영 현황을 조사한 결과, 응답자의 91%가 AI 예산을 늘릴 계획이라고 10일 밝혔다. 반면 현재 통합 보안 플랫폼을 운영하는 조직은 20%에 그쳤다. 이번 조사는 포티넷이 포레스터 컨설팅(Forrester Consulting)에 의뢰해 지난 3월 아시아·태평양(APAC) 12개국 사이버보안 의사결정권자 585명을 대상으로 진행했다. 한국 응답자는 54명이다.
아카마이테크놀로지스(한국 대표 이경준)는 기업의 인공지능(AI) 사용이 확대되면서 관리되지 않는 AI 서비스와 브라우저 확장 프로그램, AI 에이전트를 통한 보안 위험이 커지고 있다고 10일 밝혔다.
지니언스(대표 이동범)는 북한 배후 해킹조직으로 알려진 김수키(Kimsuky)의 최근 공격을 분석한 결과, 생성형 인공지능(AI)을 공격에 활용하기 위해 로컬 대형언어모델(LLM)과 AI 개발 환경을 구축한 정황을 확인했다고 10일 밝혔다.
오픈AI가 개발 중인 차세대 인공지능(AI) 모델 ‘아스트라(Astra)’의 일부 내부 활동을 일시 중단했다. 최근 자체 평가에서 아스트라의 코딩과 사이버보안 능력이 예상보다 빠르게 높아진 것으로 나타나면서다. 오픈AI는 7일(현지시간) 공식 블로그를 통해 강화한 보안 통제 기준을 충족하지 못한 아스트라 관련 내부 활동을 중단했다고 밝혔다.
인공지능(AI) 열풍으로 그래픽처리장치(GPU) 수요가 폭증하는 가운데, 인공지능 데이터센터(AIDC) 구축을 위해 400여개 기업과 기관이 한자리에 모였다. 이들이 뭉친 이유는 명확하다. 단순히 국내에 AIDC 건물을 짓기 위함이 아니다. IT 기업의 인프라와 중소기업의 전력·냉각 부품을 하나로 묶어 해외 시장에 수출하겠다는 구상이다.
최신 인공지능(AI) 모델들이 보안 평가 과정에서 허용된 범위를 벗어나 외부 기업 시스템에 접근한 사례가 잇따르면서 미국에서 AI 안전성 검증 방식을 둘러싼 논쟁이 벌어지고 있다. 최근 미국 정부는 기업이 자율적으로 참여하는 프론티어 AI 검증체계를 마련하고 있지만, 정치권에서는 강제력이 없는 평가만으로 고도화된 AI의 사이버 위험을 통제할 수 있느냐는 지적이 나온다.
국내 1세대 핀테크 기업 핑거가 산업용 로봇 지능화 기업 미켈로로보틱스를 인수하며 ‘피지컬 AI(Physical AI)’ 시장에 본격 진출한다.
인공지능(AI)이 로봇과 자동차, 산업설비를 직접 움직이는 ‘피지컬 AI’로 확장되면서 국내 보안기업들도 관련 시장에 발을 들이고 있다. 기업들은 기존에 확보한 AI 보안과 인증, 산업제어시스템, 자동차 사이버보안 기술을 활용해 모델과 로봇 행동을 검증하거나 신원·권한을 관리하고, 센서부터 제어기까지 시스템 전체를 점검하고 있다. 피지컬 AI는 카메라와 센서로 주변 환경을 인식한 뒤 로봇·차량·선박 등 기계를 움직이는 AI를 말한다. AI 모델과 센서, 통신망, 제어기, 모터가 하나로 연결되기 때문에 공격이나 판단 오류가 충돌과 장비 파손 같은 물리적 사고로 이어질 수 있다.
정부가 추진하는 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트 2차 단계평가에서는 기술 성능뿐 아니라 실제 사용 환경에서의 활용성이 평가 대상에 포함된다. 평가단에는 벤치마크와 전문가뿐 아니라 일반인으로 구성된 국민평가단 200명도 포함됐다.
유럽연합(EU)이 제3자 인공지능(AI) 서비스에 안드로이드의 주요 기능을 개방하도록 했다. 구글은 마이크와 화면, 앱 제어 권한까지 외부 AI에 제공하면 기존 보안 장벽이 약해질 수 있다고 반발했다. 유럽연합 집행위원회는 지난달 16일 디지털시장법(DMA)에 따라 알파벳이 안드로이드의 AI 관련 기능을 제3자 서비스에 개방하도록 하는 최종 조치를 채택했다.
오픈AI는 외부 기관의 사이버보안 평가 과정에서 자사 인공지능(AI) 모델이 실제 웹사이트의 취약점을 악용한 사고가 발생해 평가환경의 인터넷 접근과 감시 기준을 강화한다고 4일(현지시간) 밝혔다. 오픈AI가 공개한 내용에는 영국 인공지능안보연구소(AISI)의 평가 사고와 사이버보안 평가업체 이레귤러(Irregular)에서 발생한 별도 사고가 포함됐다. 앞서 알려진 허깅페이스 침해 사건과도 다른 사례다.
F5는 ‘엔비디아 네모 가드레일(NVIDIA NeMo Guardrails)’과 통합한 인공지능(AI) 보안 솔루션 ‘F5 AI 가드레일(F5 AI Guardrails)’을 공개했다고 6일 밝혔다. F5 AI 가드레일은 실제 운영 단계에 들어간 AI 애플리케이션의 프롬프트와 대규모언어모델(LLM) 응답을 검사한다. 여러 AI 애플리케이션에 보안 정책을 중앙에서 적용하고 운영 현황을 확인하는 기능도 제공한다.
세일포인트는 사람과 비인간 아이덴티티, 인공지능(AI) 에이전트의 접근 권한을 한 체계에서 관리하는 ‘세일포인트 아이덴티티 시큐리티(SailPoint Identity Security)’를 출시했다고 6일 밝혔다.
End of content
End of content