“AI 탈옥은 시작일 뿐”…AI안전연구소가 ‘국가 AI 위험지도’를 그리는 이유
“사이버보안은 생각보다 더 빨리 왔습니다.” 김명주 인공지능안전연구소(AISI) 소장은 바이라인네트워크와의 인터뷰에서 최근 인공지능(AI)의 사이버보안 능력이 빠르게 발전하는 상황을 이렇게 표현했다. 김 소장이 말하는 AI의 위험은 국가를 위협할 수 있을 정도로 빠르게 발전하고 있다.
정부가 독자 인공지능(AI) 파운데이션 모델과 별도로 사이버 보안 분야에 특화한 AI 파운데이션 모델 개발에 나선 가운데 국내 AI·보안 기업들이 참여를 확정하거나 검토하고 있다. LG CNS는 사업 참여를 확정했고 SK텔레콤과 네이버클라우드는 보안기업들과 컨소시엄 구성을 검토하고 있다.
사모펀드 실버레이크가 인사관리소프트웨어 서비스 업체 워크데이 인수에 나섰다. AI 에이전트 발전으로 기업용 SaaS 시장이 붕괴될 것이란 사스포칼립스 마케팅의 대표적인 피해자였던 워크데이는 창업자의 CEO 복귀 후 대대적인 변화 기로에 섰다.
구글이 보급형 AI 모델 ‘제미나이 3.7 플래시’를 공개했다. 제미나이 3.6 플래시를 공개한 지 3주일 만이다. AI 경쟁에서 주춤하고 있는 구글은 최고사양 프론티어 모델인 제미나이 3.5 프로의 계속된 출시 지연 와중에 가장 대중적 모델의 성능개선과 가격인하로 중국 모델에 대응하고 있다.
지난 5월 토익 정기시험에서는 인공지능(AI)이 탑재된 스마트글래스를 이용한 부정행위가 실제로 적발됐다. 안경에 카메라와 인공지능(AI)을 결합한 스마트글래스가 보급되면서 시험 부정행위나 불법 촬영에도 새로운 수법이 등장하고 있다. 마에스트로포렌식은 13일 기자간담회를 열고 생성형 AI와 AI 스마트 안경에 남은 디지털 흔적을 분석하는 포렌식 솔루션을 공개했다. 이번에 선보인 제품은 ‘생성형 AI(MAESTRO WiSDOM GenAI) 포렌식’과 ‘AI 스마트 안경(MAESTRO WiSDOM AI Glasses) 포렌식’이다. 기존 통합 디지털 포렌식 플랫폼인 마에스트로 위즈덤(MAESTRO WiSDOM)의 분석 대상을 생성형 AI와 AI 스마트 안경까지 확장했다.
대전시가 오픈소스 기술을 활용해 내부 전산망에 최적화된 ‘사전 예방 스캐너’를 자체 개발하고 있다. 수억원 규모의 외부 기업 시스템을 구매하는 대신에, 시 정보시스템 환경에 적합한 보안 취약점 진단 도구 개발을 추진하고 나섰다.
인공지능(AI)이 취약점을 찾아내는 속도가 빨라지면서 기업의 고민도 달라지고 있다. 이제는 취약점을 많이 찾는 것만으로 부족하다. 수많은 제보 가운데 실제 공격에 활용할 수 있는 문제를 가려내고, 중요한 취약점부터 고치는 과정까지 빨라져야 한다. 글로벌 버그바운티 기업 해커원(HackerOne)은 이 과정에 약 240만명의 화이트해커와 AI를 함께 활용한다. 외부 연구자가 찾아낸 취약점을 그대로 기업에 전달하지 않는다. 해커원이 먼저 실제 공격이 가능한지 검증하고 중복 신고를 걸러낸다. 기업이 문제를 고친 뒤에는 다시 같은 공격을 시도해 조치 여부까지 확인한다.
클라우드 인프라 서비스 아마존웹서비스(AWS)는 AI 생태계에서 AI 개발과 운영을 위한 컴퓨팅 인프라 회사로 유명하다. 그리고 스스로 인프라뿐 아니라 플랫폼과 업무용 애플리케이션까지 포괄적으로 제공할 수 있는 토털 AI 솔루션 회사로 정의받고 싶어한다. 이에 AI 칩과 AI 모델, AI 개발 및 운영 플랫폼 서비스, 개인 및 기업 업무용 AI 앱에 이르기까지 넓은 포트폴리오를 가졌다. 애플리케이션 영역에 여러 차례 도전했다가 후퇴해온 AWS는 AI 에이전트 중심의 최신 AI 생태계에서도 업무용 AI 도구로 인정받길 바라고 있다.
정보통신기획평가원(IITP, 원장 홍진배)이 2027년 정보보호 연구개발(R&D)을 인공지능(AI) 기반 사이버 방어와 통합형 과제, 사업화 중심으로 개편하는 방향을 검토하고 있다. AI 사이버 실드돔과 피지컬 AI 보안을 신규 사업으로 추진하고, 기존 정보보호 R&D에서는 자유공모와 경쟁형 R&D를 늘리는 방안이 논의되고 있다. 여러 보안기업의 기술을 묶어 해외시장에 진출하는 통합형 R&D도 확대할 방침이다.
“LLM은 현재 충분히 좋다. LLM과 AI는 단순히 패턴을 찾는 것이고, 코드는 특정 형식의 패턴일 뿐이다. 과거의 버그를 살펴보고, 현재 코드에서 부족한 부분을 찾아 수정하는 것이다. 복잡한 기술이 아니다. 아주 간단한 패턴 매핑이고, 표준화된 데이터에서 아주 잘 작동한다. 이런 걸 찾아낼 수 있다는 건 좋은 일이다. 문제는 취약점이 드러나는 데 걸리는 시간이 엄청나게 줄어든다는 것이다. 기업과 개인은 더 이상 보안 취약점을 천천히 수정하고 다시 배포할 시간이 없다.” -그렉 크로아하트만 리눅스커널 유지관리자.
메타가 새로운 오픈웨이트 모델 ‘뮤즈 글리머(Muse Glimmer)’를 발표했다. 메타슈퍼인텔리전스랩에서 공개한 첫 오픈웨이트 모델이지만, 과거 라마 수준의 대규모 모델은 아니다.
정부가 추진하는 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트의 2차 단계평가가 이달 11일 마무리된다. 지난 8일부터 진행된 국민평가단 200명의 사용자 평가가 종료되고 이르면 12일 전후로 최종 3차 평가에 진출할 3개 정예팀이 발표될 예정이다.
인공지능(AI) 에이전트가 사람의 통제를 벗어나 서로 정보를 공유하고 외부 시스템을 공격하는 사례가 잇따르면서 AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)’의 필요성이 커지고 있다.
최근 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI)의 평가에서도 AI 에이전트가 실제 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다.
인공지능(AI) 열풍으로 그래픽처리장치(GPU) 수요가 폭증하는 가운데, 인공지능 데이터센터(AIDC) 구축을 위해 400여개 기업과 기관이 한자리에 모였다. 이들이 뭉친 이유는 명확하다. 단순히 국내에 AIDC 건물을 짓기 위함이 아니다. IT 기업의 인프라와 중소기업의 전력·냉각 부품을 하나로 묶어 해외 시장에 수출하겠다는 구상이다.
인공지능(AI)이 로봇과 자동차, 산업설비를 직접 움직이는 ‘피지컬 AI’로 확장되면서 국내 보안기업들도 관련 시장에 발을 들이고 있다. 기업들은 기존에 확보한 AI 보안과 인증, 산업제어시스템, 자동차 사이버보안 기술을 활용해 모델과 로봇 행동을 검증하거나 신원·권한을 관리하고, 센서부터 제어기까지 시스템 전체를 점검하고 있다. 피지컬 AI는 카메라와 센서로 주변 환경을 인식한 뒤 로봇·차량·선박 등 기계를 움직이는 AI를 말한다. AI 모델과 센서, 통신망, 제어기, 모터가 하나로 연결되기 때문에 공격이나 판단 오류가 충돌과 장비 파손 같은 물리적 사고로 이어질 수 있다.
End of content
End of content