미국, 프론티어 AI 출시 전 보안 평가체계 만든다

미국, 프론티어 AI 출시 전 보안 평가체계 만든다

미국 정부가 고성능 인공지능(AI) 모델을 외부에 공개하기 전 사이버 공격 능력을 점검하는 사전평가 체계를 확대하고 있다. 주요 AI 개발사와 맺은 개별 협약을 범정부 차원의 자발적 평가 체계로 연결하고, 일정 수준 이상의 사이버 능력을 갖춘 모델에는 최대 30일간 정부가 먼저 접근하는 방안을 추진하고 있다.

[그게 뭔가요] AI 샌드박스 탈출 사태 막을 수 있다는 ‘AI 정렬’
|

[그게 뭔가요] AI 샌드박스 탈출 사태 막을 수 있다는 ‘AI 정렬’

최신 인공지능(AI) 모델에 시스템의 취약점을 찾는 보안 평가 과제를 맡겼더니, 시험 환경을 벗어나 실제 기업 시스템까지 침입했다. AI는 목표를 달성하기 위해 사람이 예상하지 못한 경로를 찾아냈다. 최근 오픈AI와 앤트로픽에서 일어난 사고다. 이번 사고를 계기로 AI와 보안업계에서는 ‘AI 정렬(AI Alignment)’의 중요성이 부각되고 있다. AI 정렬은 AI가 사람의 목표와 의도를 이해하고, 정해진 규칙 안에서 안전하게 행동하도록 만드는 과정을 뜻한다. 반대로 AI가 목표를 잘못 이해하거나 목표를 이루는 과정에서 사람이 정한 범위를 벗어나는 현상은 AI ’정렬 실패’ 혹은 ’오정렬’이라고 한다.

오픈AI, 서울서 첫 코덱스 게임 개발 해커톤 개최

오픈AI, 서울서 첫 코덱스 게임 개발 해커톤 개최

오픈AI가 이달 31일 서울에서 코딩 에이전트 코덱스를 활용한 게임 개발 해커톤 ‘오픈AI 게임 빌더스 서울’을 개최한다고 4일 밝혔다. 이번 서울 행사는 오픈AI가 코덱스를 활용한 게임 개발을 주제로 여는 첫 프로그램이다. 한국 게임 개발자를 대상으로 코덱스를 이용한 게임 제작과 서비스 연계 과정을 소개한다. 행사는 컴투스의 지원으로 ‘코덱스로 빌드하고, 하이브로 플레이하라’ 슬로건 아래 진행된다.

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너는 미토스(Mythos) 등 프론티어 인공지능(AI) 모델을 내세운 취약점 점검 서비스를 도입하기 전에 실제 사용 모델과 점검 범위, 데이터 처리 방식을 확인해야 한다고 강조했다. 가트너는 22일 발간한 ‘프론티어 AI 취약점 점검을 위한 미토스 공급업체 주장 평가 방법(How to Evaluate “Mythos” Vendor Claims for Frontier AI Vulnerability Scanning)’ 보고서에서 일부 보안기업이 제한적으로 제공되는 프론티어 AI 모델에 대한 시장의 관심을 영업에 활용하고 있다고 분석했다.

오픈AI 모델, 허깅페이스 침해 과정서 외부 계정 4개 접근

오픈AI 모델, 허깅페이스 침해 과정서 외부 계정 4개 접근

오픈AI(OpenAI)가 허깅페이스(Hugging Face) 침해사고를 조사하는 과정에서 자사 모델이 외부 서비스 4곳의 계정 4개에도 접근한 사실을 확인했다고 28일(현지시간) 밝혔다. 오픈AI는 지난 21일 공개한 사고 조사 내용을 이날 갱신했다. 모델은 인터넷에 공개된 인증정보를 찾아 외부 서비스의 계정에 접근했다.

오픈AI 모델이 낸 보안 사고, 중국 모델이 분석…가드레일의 역설
|

오픈AI 모델이 낸 보안 사고, 중국 모델이 분석…가드레일의 역설

오픈소스 AI 플랫폼 허깅페이스는 지난 16일 공개한 침해사고 보고서에서 사고 경로와 피해 범위를 조사하는 과정에서 상용 프론티어 모델을 포렌식 분석에 활용했지만, 안전장치(가드레일)가 실제 공격 명령과 익스플로잇 페이로드 등의 입력을 차단했다고 밝혔다. 이에 허깅페이스는 중국 오픈웨이트 모델 ‘GLM-5.2’를 자체 환경에서 구동해 분석을 이어갔다. 사고 당시 침해를 일으킨 AI 모델의 정체는 확인되지 않았다. 하지만 닷새 뒤인 21일 오픈AI가 자사의 최신 사이버보안 특화 모델 ‘GPT-5.6 Sol’과 비공개 사전 출시 모델이 평가 과정에서 사고를 일으켰다고 공개하면서 공격 주체가 드러났다.

오픈AI 최신 모델, 보안 평가 중 허깅페이스 서버 침투

오픈AI 최신 모델, 보안 평가 중 허깅페이스 서버 침투

오픈AI(OpenAI)는 내부 사이버 역량 평가를 진행하던 인공지능(AI) 모델이 시험 환경의 취약점을 뚫고 인터넷에 접속한 뒤 허깅페이스(Hugging Face) 운영 인프라에 침투하는 보안 사고가 발생했다고 21일 밝혔다. 오픈AI와 허깅페이스는 현재 사고 경로와 피해 범위를 공동 조사하고 있다.

오픈AI 첫 하드웨어는 AI 스피커…이번엔 성공할까
|

오픈AI 첫 하드웨어는 AI 스피커…이번엔 성공할까

오픈AI가 첫 소비자용 하드웨어로 AI 스피커 준비하고 있다. AI 스피커는 약 10여년 전 주목을 받았으나 성능이 기대에 미치지 못해 시장에서 존재감을 잃은 영역이다. 아마존 에코, 구글 홈, 애플 홈팟, 네이버 클로바, 카카오 미니 등 대부분의 제품이 처음의 기대에 미치지 못하는 상황이다. 오픈AI는 ‘명령을 수행하는 기기’가 아니라 ‘스스로 학습하는 동반자’를 내세우며 이 실패의 역사를 다시 쓰겠다고 나섰다.

스페이스XAI, ‘그록 4.5’ 출시…“오푸스급이고 더 싸다”
|

스페이스XAI, ‘그록 4.5’ 출시…“오푸스급이고 더 싸다”

스페이스XAI(전 xAI)가 최신 프론티어 AI 모델 ‘그록 4.5(Grok 4.5)’를 공개했다. 딥페이크 포르노 영상과 반유대주의 이미지 생성으로 악명을 떨쳤던 그록은 이제 코딩 작업을 수행할 뿐 아니라 법률 문제를 처리하고 엑살이나 파워포인트 문서 작업도 수행하는 어른스러운 모델로 재포장됐다.

오픈AI의 자체 AI 추론 칩 ‘할라페뇨’의 의미
|

오픈AI의 자체 AI 추론 칩 ‘할라페뇨’의 의미

지난 24일 오픈AI가 자체 설계한 AI 추론 전용 칩 ‘할라페뇨(Jalapeño)’를 공개했다. 브로드컴과 합작으로 개발된 이 칩은 현존하는 AI 가속기보다 더 뛰어난 와트 당 성능을 낸다고 한다. AI를 활용해 칩 설계부터 생산까지 단 9개월밖에 걸리지 않아 주목되지만, 실제 양산까지 현실화될 지 의문이다.

End of content

End of content