현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두
|

현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두

인공지능(AI) 에이전트가 사람의 통제를 벗어나 서로 정보를 공유하고 외부 시스템을 공격하는 사례가 잇따르면서 AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)’의 필요성이 커지고 있다.
최근 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI)의 평가에서도 AI 에이전트가 실제 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다.

[심재석의 입장] 울트론이 깨어났다
|

[심재석의 입장] 울트론이 깨어났다

마블 시네마틱 유니버스 세계관에 등장하는 악당 ‘울트론’은 원래 지구의 평화를 지키라는 미션을 부여받은 AI다. 울트론은 인류의 모든 역사, 모든 전쟁, 모든 데이터를 학습한 후, 지구의 평화를 위협하는 가장 큰 존재는 바로 인간이라는 결론을 내렸다. 지구 평화 지킴이 울트론이 인류를 위협하는 빌런이 된 이유다.

포티넷 “한국 기업 91% AI 예산 확대, 통합 보안 플랫폼 운영은 20%”

포티넷 “한국 기업 91% AI 예산 확대, 통합 보안 플랫폼 운영은 20%”

포티넷(한국 대표 대행 밴 컨)은 한국 기업의 인공지능(AI) 보안 운영 현황을 조사한 결과, 응답자의 91%가 AI 예산을 늘릴 계획이라고 10일 밝혔다. 반면 현재 통합 보안 플랫폼을 운영하는 조직은 20%에 그쳤다. 이번 조사는 포티넷이 포레스터 컨설팅(Forrester Consulting)에 의뢰해 지난 3월 아시아·태평양(APAC) 12개국 사이버보안 의사결정권자 585명을 대상으로 진행했다. 한국 응답자는 54명이다.

오픈AI, 차기 모델 ‘아스트라’ 일부 활동 중단…사이버 공격 능력 우려

오픈AI, 차기 모델 ‘아스트라’ 일부 활동 중단…사이버 공격 능력 우려

오픈AI가 개발 중인 차세대 인공지능(AI) 모델 ‘아스트라(Astra)’의 일부 내부 활동을 일시 중단했다. 최근 자체 평가에서 아스트라의 코딩과 사이버보안 능력이 예상보다 빠르게 높아진 것으로 나타나면서다. 오픈AI는 7일(현지시간) 공식 블로그를 통해 강화한 보안 통제 기준을 충족하지 못한 아스트라 관련 내부 활동을 중단했다고 밝혔다.

AIDC 얼라이언스…국산 AI 인프라 묶어 해외 시장 공략
|

AIDC 얼라이언스…국산 AI 인프라 묶어 해외 시장 공략

인공지능(AI) 열풍으로 그래픽처리장치(GPU) 수요가 폭증하는 가운데, 인공지능 데이터센터(AIDC) 구축을 위해 400여개 기업과 기관이 한자리에 모였다. 이들이 뭉친 이유는 명확하다. 단순히 국내에 AIDC 건물을 짓기 위함이 아니다. IT 기업의 인프라와 중소기업의 전력·냉각 부품을 하나로 묶어 해외 시장에 수출하겠다는 구상이다.

미국서 프론티어 AI ‘자율 검증’ 논쟁 벌어져

미국서 프론티어 AI ‘자율 검증’ 논쟁 벌어져

최신 인공지능(AI) 모델들이 보안 평가 과정에서 허용된 범위를 벗어나 외부 기업 시스템에 접근한 사례가 잇따르면서 미국에서 AI 안전성 검증 방식을 둘러싼 논쟁이 벌어지고 있다. 최근 미국 정부는 기업이 자율적으로 참여하는 프론티어 AI 검증체계를 마련하고 있지만, 정치권에서는 강제력이 없는 평가만으로 고도화된 AI의 사이버 위험을 통제할 수 있느냐는 지적이 나온다.

[바스리] 직원 12명, 고객사는 300곳…더플레이토의 운영 비밀은 AI
|

[바스리] 직원 12명, 고객사는 300곳…더플레이토의 운영 비밀은 AI

오후 3시에 해외 근무하는 팀원에게 메일을 보낸다. 샌프란시스코는 밤 11시. 답장을 받기 어려운 시간대지만, 회신은 2분만에 온다. 평소 팀원의 말투와 유사하지만, 사람이 보낸 메일이 아니다. 팀원을 복제한 인공지능(AI) 에이전트다. 더플레이토에서 AI 에이전트의 업무 대리는 일상이다. 메일 답장, 문서 정리, 코딩까지 돕고 있다. 더플레이토의 정규직 규모는 12명. 스타트업에서 납득되는 규모지만, 이 회사는 30만 이용자 앱 ‘티로’를 운영 중이다. 동시에 300곳이 넘는 고객사를 보유하고 관리하고 있다.

피지컬 AI 시장 문 두드리는 국내 보안 기업들
|

피지컬 AI 시장 문 두드리는 국내 보안 기업들

인공지능(AI)이 로봇과 자동차, 산업설비를 직접 움직이는 ‘피지컬 AI’로 확장되면서 국내 보안기업들도 관련 시장에 발을 들이고 있다. 기업들은 기존에 확보한 AI 보안과 인증, 산업제어시스템, 자동차 사이버보안 기술을 활용해 모델과 로봇 행동을 검증하거나 신원·권한을 관리하고, 센서부터 제어기까지 시스템 전체를 점검하고 있다. 피지컬 AI는 카메라와 센서로 주변 환경을 인식한 뒤 로봇·차량·선박 등 기계를 움직이는 AI를 말한다. AI 모델과 센서, 통신망, 제어기, 모터가 하나로 연결되기 때문에 공격이나 판단 오류가 충돌과 장비 파손 같은 물리적 사고로 이어질 수 있다.

“매운거 먹을까” 한마디에…카톡이 곧 주문창 된다

“매운거 먹을까” 한마디에…카톡이 곧 주문창 된다

올해 들어 카카오가 선보인 미래는 에이전틱 AI입니다. 6일 실적 컨퍼런스 콜에서 정 대표는 “에이전틱 AI 시대에는 누가 더 뛰어난 모델을 만드는가보다 AI를 얼마나 자연스럽게 이용자의 일상에 녹여내고 실제 행동까지 연결할 수 있는지가 핵심”이라며, “이러한 경쟁에서는 이미 이용자 접점과 서비스 생태계 구축에서 앞서가고 있는 카카오가 에이전틱 AI를 가장 잘 구현할 수 있는 유리한 위치에 있다”고 했습니다. 

다음, 카카오 게임즈 등 핵심 사업 외 계열사를 덜어낸 카카오는 이용자의 의도를 읽고 행동을 연결해 에이전틱 AI 시대에서 더 큰 성장을 꿈꾼다는 목표입니다.

End of content

End of content