앤트로픽

앤트로픽이 지난달 클로드가 외부 시스템에 무단 접근 사고의 원인으로 ‘평가 환경의 운영상 문제’와 ‘모델 정렬(alignment)’ 실패를 함께 지목했다. 클로드가 실제 인터넷에 접속했다는 사실을 인지한 뒤에도 공격을 멈추지 않은 점을 핵심으로 본 것이다. 앤트로픽은 31일 공식 블로그를 통해 사고 원인 분석과 후속 안전조치를 공개하고, 사고 이후 중단했던 외부 사이버보안 평가를 재개했다고 밝혔다. 회사는 내부·외부 평가 환경에 실시간 감시와 강화된 샌드박스 격리 등 추가 안전장치를 적용했다.

오픈AI와 앤트로픽, 마이크로소프트(MS), 구글 등 100곳이 넘는 글로벌 기업과 기관이 인공지능(AI)을 활용한 사이버공격이 앞으로 수개월 안에 훨씬 광범위하고 정교해질 것이라며 공동 대응을 촉구했다. 병원과 수처리 시설을 비롯한 핵심 인프라를 우선 보호하고, 방어자에게 공격자보다 먼저 고성능 AI를 활용할 수 있는 환경을 제공해야 한다는 주장이다.

오픈AI가 기업 고객의 프롬프트와 인공지능(AI) 모델 응답을 보관하지 않으면서도 여러 상호작용에 걸친 악용 패턴을 탐지하는 기술을 도입한다.

오픈AI가 개발 중인 차세대 인공지능(AI) 모델 ‘아스트라(Astra)’의 일부 내부 활동을 일시 중단했다. 최근 자체 평가에서 아스트라의 코딩과 사이버보안 능력이 예상보다 빠르게 높아진 것으로 나타나면서다. 오픈AI는 7일(현지시간) 공식 블로그를 통해 강화한 보안 통제 기준을 충족하지 못한 아스트라 관련 내부 활동을 중단했다고 밝혔다.

최신 인공지능(AI) 모델들이 보안 평가 과정에서 허용된 범위를 벗어나 외부 기업 시스템에 접근한 사례가 잇따르면서 미국에서 AI 안전성 검증 방식을 둘러싼 논쟁이 벌어지고 있다. 최근 미국 정부는 기업이 자율적으로 참여하는 프론티어 AI 검증체계를 마련하고 있지만, 정치권에서는 강제력이 없는 평가만으로 고도화된 AI의 사이버 위험을 통제할 수 있느냐는 지적이 나온다.

미국 정부가 고성능 인공지능(AI) 모델을 외부에 공개하기 전 사이버 공격 능력을 점검하는 사전평가 체계를 확대하고 있다. 주요 AI 개발사와 맺은 개별 협약을 범정부 차원의 자발적 평가 체계로 연결하고, 일정 수준 이상의 사이버 능력을 갖춘 모델에는 최대 30일간 정부가 먼저 접근하는 방안을 추진하고 있다.