미국, 프론티어 AI 출시 전 보안 평가체계 만든다

미국, 프론티어 AI 출시 전 보안 평가체계 만든다

By곽중희

미국 정부가 고성능 인공지능(AI) 모델을 외부에 공개하기 전 사이버 공격 능력을 점검하는 사전평가 체계를 확대하고 있다. 주요 AI 개발사와 맺은 개별 협약을 범정부 차원의 자발적 평가 체계로 연결하고, 일정 수준 이상의 사이버 능력을 갖춘 모델에는 최대 30일간 정부가 먼저 접근하는 방안을 추진하고 있다.

[그게 뭔가요] AI 샌드박스 탈출 사태 막을 수 있다는 ‘AI 정렬’
|

[그게 뭔가요] AI 샌드박스 탈출 사태 막을 수 있다는 ‘AI 정렬’

By곽중희

최신 인공지능(AI) 모델에 시스템의 취약점을 찾는 보안 평가 과제를 맡겼더니, 시험 환경을 벗어나 실제 기업 시스템까지 침입했다. AI는 목표를 달성하기 위해 사람이 예상하지 못한 경로를 찾아냈다. 최근 오픈AI와 앤트로픽에서 일어난 사고다. 이번 사고를 계기로 AI와 보안업계에서는 ‘AI 정렬(AI Alignment)’의 중요성이 부각되고 있다. AI 정렬은 AI가 사람의 목표와 의도를 이해하고, 정해진 규칙 안에서 안전하게 행동하도록 만드는 과정을 뜻한다. 반대로 AI가 목표를 잘못 이해하거나 목표를 이루는 과정에서 사람이 정한 범위를 벗어나는 현상은 AI ’정렬 실패’ 혹은 ’오정렬’이라고 한다.

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나
| |

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나

By곽중희

프론티어 인공지능(AI) 모델이 소프트웨어 취약점을 찾고 공격 가능성까지 확인하는 단계에 들어서면서, 발견한 결과를 안전하게 처리할 제도적 기반이 중요해지고 있다. AI가 찾아낸 버그가 많아지면, 실제 취약점인지 검증하고 이를 기업의 패치와 정보 공개로 연결하는 절차가 필요해진다. 또한 취약점이 여러 제품에 영향을 미치거나 기업이 신고에 응답하지 않을 경우에는 연구자와 제조사 사이를 조정할 기관의 역할도 더욱 커질 전망이다.

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

By곽중희

가트너는 미토스(Mythos) 등 프론티어 인공지능(AI) 모델을 내세운 취약점 점검 서비스를 도입하기 전에 실제 사용 모델과 점검 범위, 데이터 처리 방식을 확인해야 한다고 강조했다. 가트너는 22일 발간한 ‘프론티어 AI 취약점 점검을 위한 미토스 공급업체 주장 평가 방법(How to Evaluate “Mythos” Vendor Claims for Frontier AI Vulnerability Scanning)’ 보고서에서 일부 보안기업이 제한적으로 제공되는 프론티어 AI 모델에 대한 시장의 관심을 영업에 활용하고 있다고 분석했다.

[기획/미토스 이후, 취약점 대응②] 서비스 멈추지 않고 빠르게 패치하려면
|

[기획/미토스 이후, 취약점 대응②] 서비스 멈추지 않고 빠르게 패치하려면

By곽중희

AI는 취약점을 발견하고 공격에 활용하는 데 걸리는 시간을 계속해서 줄이고 있다. 실제 공격에 쓰이거나 인터넷에 노출된 취약점은 공식적인 패치 일정만 기다리기에는 한계가 있다. 기업의 보안·인프라 관계자들은 긴급 패치를 안전하게 적용하려면 공격 경로를 먼저 차단하고 운영 환경에 맞는 수정 사항을 확보해야 한다고 설명했다. 이후 시험 환경에서 검증한 패치를 일부 시스템부터 적용하고 서비스 상태에 따라 범위를 넓혀야 한다. 문제가 생기면 배포를 중단하거나 이전 상태로 되돌리는 복구 절차도 필요하다.

스페이스XAI, ‘그록 4.5’ 출시…“오푸스급이고 더 싸다”
|

스페이스XAI, ‘그록 4.5’ 출시…“오푸스급이고 더 싸다”

By김우용

스페이스XAI(전 xAI)가 최신 프론티어 AI 모델 ‘그록 4.5(Grok 4.5)’를 공개했다. 딥페이크 포르노 영상과 반유대주의 이미지 생성으로 악명을 떨쳤던 그록은 이제 코딩 작업을 수행할 뿐 아니라 법률 문제를 처리하고 엑살이나 파워포인트 문서 작업도 수행하는 어른스러운 모델로 재포장됐다.

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개
|

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개

By곽중희

앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.

앤트로픽, 에이전트 성능 강화한 ‘클로드 소넷 5’ 출시
|

앤트로픽, 에이전트 성능 강화한 ‘클로드 소넷 5’ 출시

By이슬찬

앤트로픽이 향상된 성능과 가성비를 내세운 최신 인공지능(AI) 모델 ′클로드 소넷(Sonnet) 5’를 출시했다. 앤트로픽은 이번 모델을 소넷 시리즈 가운데 ‘가장 에이전틱한 모델’로 소개하며 브라우저나 터미널 등 도구 사용 능력을 강조했다. 클로드 소넷 5는 이날부터 모든 요금제(플랜)에서 사용할 수 있다. 무료와 프로 요금제에서는 기본 모델로 제공된다. 8월 31일까지는 입력 토큰 100만개당 2달러, 출력 토큰 100만개당 10달러의 할인 가격으로 모든 플랜에 제공된다.

[미토스 이후, 전문가에게 듣는다⑩] 보안 전문가들이 본 AI 보안 대응, 무엇이 바뀌어야 하나
| | |

[미토스 이후, 전문가에게 듣는다⑩] 보안 전문가들이 본 AI 보안 대응, 무엇이 바뀌어야 하나

By곽중희

미토스 이슈는 이제 AI 모델의 성능 논쟁을 넘어 국가의 안보 문제로까지 번지고 있다. 앤트로픽은 최근 일반 사용자용 모델 ‘클로드 페이블5(Claude Fable 5)’와 제한 접근 모델 ‘클로드 미토스5(Claude Mythos 5)’를 출시했다. 하지만 출시 직후 미국 정부가 국가안보 권한을 근거로 두 모델에 대한 외국 국적자 접근 중단을 지시하면서 논란이 커지고 있다. 앤트로픽은 정부 요청에 따라 페이블5와 미토스5 접근을 일시 중단했고, 접근 중단 문제를 해결하기 위해 백악관과 협의하는 등 대응에 나선 것으로 알려졌다. 전문가들이 미토스 이후의 대응을 서둘러야 한다고 보는 이유도 여기에 있다. 대응은 보안 특화 모델 개발이나 취약점 탐지, 빠른 패치 중 어떤 하나의 주제로 매몰되면 안 된다. 취약점을 찾는 속도가 빨라졌다면, 방어자는 패치 대응 체계를 바꾸고, AI를 활용한 방어 전략을 만들며, 장기적으로는 국가 안보와 직결되는 AI 기반 보안 역량을 높일 수 있는 방안을 마련해야 한다.

End of content

End of content