현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두
|

현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두

인공지능(AI) 에이전트가 사람의 통제를 벗어나 서로 정보를 공유하고 외부 시스템을 공격하는 사례가 잇따르면서 AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)’의 필요성이 커지고 있다.
최근 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI)의 평가에서도 AI 에이전트가 실제 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다.

오픈AI, 차기 모델 ‘아스트라’ 일부 활동 중단…사이버 공격 능력 우려

오픈AI, 차기 모델 ‘아스트라’ 일부 활동 중단…사이버 공격 능력 우려

오픈AI가 개발 중인 차세대 인공지능(AI) 모델 ‘아스트라(Astra)’의 일부 내부 활동을 일시 중단했다. 최근 자체 평가에서 아스트라의 코딩과 사이버보안 능력이 예상보다 빠르게 높아진 것으로 나타나면서다. 오픈AI는 7일(현지시간) 공식 블로그를 통해 강화한 보안 통제 기준을 충족하지 못한 아스트라 관련 내부 활동을 중단했다고 밝혔다.

오픈AI 모델, 외부 평가서 잇단 사고…실제 웹사이트까지 침입

오픈AI 모델, 외부 평가서 잇단 사고…실제 웹사이트까지 침입

오픈AI는 외부 기관의 사이버보안 평가 과정에서 자사 인공지능(AI) 모델이 실제 웹사이트의 취약점을 악용한 사고가 발생해 평가환경의 인터넷 접근과 감시 기준을 강화한다고 4일(현지시간) 밝혔다. 오픈AI가 공개한 내용에는 영국 인공지능안보연구소(AISI)의 평가 사고와 사이버보안 평가업체 이레귤러(Irregular)에서 발생한 별도 사고가 포함됐다. 앞서 알려진 허깅페이스 침해 사건과도 다른 사례다.

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나
| |

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나

프론티어 인공지능(AI) 모델이 소프트웨어 취약점을 찾고 공격 가능성까지 확인하는 단계에 들어서면서, 발견한 결과를 안전하게 처리할 제도적 기반이 중요해지고 있다. AI가 찾아낸 버그가 많아지면, 실제 취약점인지 검증하고 이를 기업의 패치와 정보 공개로 연결하는 절차가 필요해진다. 또한 취약점이 여러 제품에 영향을 미치거나 기업이 신고에 응답하지 않을 경우에는 연구자와 제조사 사이를 조정할 기관의 역할도 더욱 커질 전망이다.

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너는 미토스(Mythos) 등 프론티어 인공지능(AI) 모델을 내세운 취약점 점검 서비스를 도입하기 전에 실제 사용 모델과 점검 범위, 데이터 처리 방식을 확인해야 한다고 강조했다. 가트너는 22일 발간한 ‘프론티어 AI 취약점 점검을 위한 미토스 공급업체 주장 평가 방법(How to Evaluate “Mythos” Vendor Claims for Frontier AI Vulnerability Scanning)’ 보고서에서 일부 보안기업이 제한적으로 제공되는 프론티어 AI 모델에 대한 시장의 관심을 영업에 활용하고 있다고 분석했다.

[기획/미토스 이후, 취약점 대응③] 패치 못 하는 시스템은 어떻게 지키나
| |

[기획/미토스 이후, 취약점 대응③] 패치 못 하는 시스템은 어떻게 지키나

정식 보안 패치가 아직 나오지 않았거나 공급사의 지원이 끝난 시스템은 바로 취약점을 제거하기 어렵다. 또한 패치가 있어도 기존 애플리케이션과 충돌하거나 시스템 중단이 필요해 즉시 적용하지 못하는 경우도 있다. 이런 상황에서 보안 전문가들이 짚은 대응 방법은 ‘외부 공격 경로를 먼저 차단하고 취약한 자산의 내부 연결을 줄이는 것’이다. 패치 전에 공격자가 이미 내부망에 침투했는지도 확인해야 한다. 가상 패치와 격리 정책이 실제로 작동하는지 지속적으로 검증하는 절차도 필요하다.

[기획/미토스 이후, 취약점 대응②] 서비스 멈추지 않고 빠르게 패치하려면
|

[기획/미토스 이후, 취약점 대응②] 서비스 멈추지 않고 빠르게 패치하려면

AI는 취약점을 발견하고 공격에 활용하는 데 걸리는 시간을 계속해서 줄이고 있다. 실제 공격에 쓰이거나 인터넷에 노출된 취약점은 공식적인 패치 일정만 기다리기에는 한계가 있다. 기업의 보안·인프라 관계자들은 긴급 패치를 안전하게 적용하려면 공격 경로를 먼저 차단하고 운영 환경에 맞는 수정 사항을 확보해야 한다고 설명했다. 이후 시험 환경에서 검증한 패치를 일부 시스템부터 적용하고 서비스 상태에 따라 범위를 넓혀야 한다. 문제가 생기면 배포를 중단하거나 이전 상태로 되돌리는 복구 절차도 필요하다.

[기획/미토스 이후, 취약점 대응①] 취약점 쏟아져도, 패치는 느린 이유
| |

[기획/미토스 이후, 취약점 대응①] 취약점 쏟아져도, 패치는 느린 이유

앤트로픽의 인공지능(AI) 모델 미토스를 기점으로 AI의 소프트웨어 취약점 탐색 능력이 빠르게 발전하고 있다. AI가 대량의 취약점을 찾고 공격코드까지 만들 수 있게 되면서, 이를 어떻게 빠르게 분석, 검증하고 대응, 관리할 지가 주요 과제로 떠올랐다. 바이라인네트워크는 ‘미토스 이후, 취약점 대응’ 기획 시리즈로 AI 이후 취약점 관리와 대응 체계가 어떻게 달라져야 하는지 살펴본다. 첫 회에서는 기업의 패치 과정에서 발생하는 병목을 짚어 봤다.

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개
|

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개

앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.

팔로알토 “공격자는 이미 머신 스피드, 전통 보안 방법 안통해 ”
|

팔로알토 “공격자는 이미 머신 스피드, 전통 보안 방법 안통해 ”

구자만 팔로알토 네트웍스 전무는 18일 <바이라인네트워크>가 서울 잠실 롯데호텔 3층 크리스탈볼룸에서 개최한 ‘사이버보안 기술 전략 컨퍼런스’에서 이같이 말했다. 그는 AI 기반 새로운 사이버 공격은 전통적인 방법으로 대처할 수 없고, 이를 대비할 시간이 충분하지 않다고 설명했다. 그러면서 인간의 속도에 맞춘 방어 체계는 기계가 주도하는 공격 주기를 따라잡을 수 없다고 강조했다.

[심재석의 입장] 미토스가 사라진 후, 소버린 AI를 생각한다
|

[심재석의 입장] 미토스가 사라진 후, 소버린 AI를 생각한다

고백하자면 나는 지금까지 ‘소버린 AI’를 외치는 목소리에 크게 귀를 기울이지 않았다. 오픈AI를 비롯한 글로벌 리더들과의 격차가 워낙 벌어졌고, 국내 그 어떤 기업이나 기관도 오픈AI나 구글, 앤트로픽과 같은 회사들처럼 투자를 할 여력이 없기 때문이다. 우리나라에서 GPT나 클로드 수준의 모델을 만들 수 있다면 좋겠지만, 현실적으로 불가능하다고 생각했다. 그러니 산업용 솔루션이나 피지컬AI와 같은 분야에 투자를 집중하는 것이 효율적 전략이라고 봤다.

앤트로픽 미토스 차단, 한국 통신사 때문?
|

앤트로픽 미토스 차단, 한국 통신사 때문?

미국 정부가 앤트로픽의 최신 AI 모델 ‘미토스 5’와 ‘페이블 5’를 수출 금지시킨 배경에 한국 통신사가 있는 것으로 전해졌다.

워싱턴포스트는 15일(현지시각) 백악관 관료 2명을 인용해, 트럼프 행정부가 앤트로픽에 모델 오프라인 조치를 요구하기 몇 주 전부터 이미 제재(수출통제)를 검토하고 있었다고 보도했다. 특히 그 계기가 된 것은 중국과 연계된 한국 통신사의 미토스 접근이라고 신문은 전했다.

End of content

End of content