시스코, 자사 보안 플랫폼에 ‘클로드 미토스’ 도입

시스코, 자사 보안 플랫폼에 ‘클로드 미토스’ 도입

시스코는 앤트로픽의 인공지능(AI) 모델 ‘클로드 미토스(Claude Mythos)’를 자사 보안 플랫폼 ‘시스코 AI 디펜스(Cisco AI Defense)’에 도입해 AI 에이전트의 보안 검증 기능을 강화한다고 10일 밝혔다. 시스코는 호주 멜버른에서 열린 연례 행사 ‘시스코 라이브 APJC’에서 이 같은 계획을 발표했다. 클로드 미토스의 추론 능력을 활용해 실제 공격과 유사한 환경에서 AI 애플리케이션과 에이전트의 취약점을 탐색한다는 구상이다.

해커원이 본 AI 해킹의 현주소…최고 성능 모델은?
| |

해커원이 본 AI 해킹의 현주소…최고 성능 모델은?

프론티어 인공지능(AI)은 실제 해킹 현장에서 얼마나 쓸 만할까. 글로벌 버그바운티 플랫폼 해커원(HackerOne)이 AI 모델의 취약점 탐색 능력을 평가한 결과, 단일 모델은 시험 대상 취약점의 85.5%를 발견했다. 세 모델을 함께 활용하면 탐색률은 98.4%까지 높아졌다. 그러나 취약점을 찾아내는 것과 실제 공격이 가능한 지를 판단하는 것은 다른 문제였다. 

미토스 등장 반년, 프론티어 AI의 보안 능력은 얼마나 발전했나
| |

미토스 등장 반년, 프론티어 AI의 보안 능력은 얼마나 발전했나

지난 4월 앤트로픽이 ‘클로드 미토스 프리뷰’를 공개했을 때, 보안업계는 놀랐다. AI가 소프트웨어 취약점을 찾아 실제 공격 코드까지 만들었기 때문이다. 반년이 지난 지금, 오픈AI·앤트로픽·구글 등 AI 기업들은 취약점 발견과 공격 검증 능력을 높인 프론티어 모델을 앞다퉈 공개하고 있다. 최근에는 AI가 취약점을 수정하는 패치까지 작성하는 단계에 도달했다.

KISIA, ‘K-글래스윙’ 가동…보안 특파모 협력도 모색
| |

KISIA, ‘K-글래스윙’ 가동…보안 특파모 협력도 모색

한국정보보호산업협회(KISIA)가 인공지능(AI)을 활용한 사이버위협에 공동 대응하기 위한 ‘K-글래스윙’ 프로젝트를 가동한다. 국내 보안기업끼리 위협정보를 공유하고 국산 보안제품의 취약점을 함께 점검하는 체계를 만드는 것이 목표다. 또한 KISIA는 최근 정부가 추진하고 있는 ‘보안 특화 AI 파운데이션 모델(보안 특파모)’ 사업에도 회원사들의 데이터와 보안 전문성을 활용할 수 있도록 협력 방안을 모색한다.

앤트로픽, 보안 평가 중 사고 1건 추가…“AI가 감시체계도 교란”
| |

앤트로픽, 보안 평가 중 사고 1건 추가…“AI가 감시체계도 교란”

앤트로픽이 인공지능(AI) 모델 ‘클로드’가 사이버보안 평가 도중 실제 외부 시스템에 무단 접근한 사고를 추가로 확인했다. 사고는 기존에 알려진 3건에서 4건으로 늘었다. 후속 조사에서는 공격을 수행한 AI의 잘못된 사고과정이 이를 감시하는 다른 AI의 판단까지 흐릴 수 있다는 문제도 확인됐다.

허깅페이스 침투 사고가 바꾼 것들
| |

허깅페이스 침투 사고가 바꾼 것들

지난 7월 큰 충격을 준 오픈AI의 허깅페이스 침투 사고가 프론티어AI를 만들고 시험하는 방식까지 바꾸고 있다. 오픈AI와 앤트로픽은 최근 발생한 프론티어 모델들의 탈옥 사고 이후, 모델을 가두는 환경부터 강화학습, 실시간 행동 감시까지 여러 안전장치를 다시 정비하고 있다고 발표했다.

앤트로픽이 주목한 클로드의 탈옥 원인

앤트로픽이 주목한 클로드의 탈옥 원인

앤트로픽이 지난달 클로드가 외부 시스템에 무단 접근 사고의 원인으로 ‘평가 환경의 운영상 문제’와 ‘모델 정렬(alignment)’ 실패를 함께 지목했다. 클로드가 실제 인터넷에 접속했다는 사실을 인지한 뒤에도 공격을 멈추지 않은 점을 핵심으로 본 것이다. 앤트로픽은 31일 공식 블로그를 통해 사고 원인 분석과 후속 안전조치를 공개하고, 사고 이후 중단했던 외부 사이버보안 평가를 재개했다고 밝혔다. 회사는 내부·외부 평가 환경에 실시간 감시와 강화된 샌드박스 격리 등 추가 안전장치를 적용했다.

현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두
|

현실이 된 AI 자율 해킹…‘킬스위치’ 필요성 대두

인공지능(AI) 에이전트가 사람의 통제를 벗어나 서로 정보를 공유하고 외부 시스템을 공격하는 사례가 잇따르면서 AI의 행동이나 시스템 가동을 강제로 중단할 수 있는 ‘킬스위치(kill switch)’의 필요성이 커지고 있다.
최근 오픈AI는 자사 AI 에이전트들이 내부 시스템에 별도 통신 공간을 만들고 협업한 끝에 실제 외부 시스템까지 침입한 사실을 공개했다. 영국 인공지능안보연구소(AISI)의 평가에서도 AI 에이전트가 실제 사람과 조직을 상대로 허가받지 않은 행동을 한 사례가 확인됐다.

오픈AI, 차기 모델 ‘아스트라’ 일부 활동 중단…사이버 공격 능력 우려

오픈AI, 차기 모델 ‘아스트라’ 일부 활동 중단…사이버 공격 능력 우려

오픈AI가 개발 중인 차세대 인공지능(AI) 모델 ‘아스트라(Astra)’의 일부 내부 활동을 일시 중단했다. 최근 자체 평가에서 아스트라의 코딩과 사이버보안 능력이 예상보다 빠르게 높아진 것으로 나타나면서다. 오픈AI는 7일(현지시간) 공식 블로그를 통해 강화한 보안 통제 기준을 충족하지 못한 아스트라 관련 내부 활동을 중단했다고 밝혔다.

오픈AI 모델, 외부 평가서 잇단 사고…실제 웹사이트까지 침입

오픈AI 모델, 외부 평가서 잇단 사고…실제 웹사이트까지 침입

오픈AI는 외부 기관의 사이버보안 평가 과정에서 자사 인공지능(AI) 모델이 실제 웹사이트의 취약점을 악용한 사고가 발생해 평가환경의 인터넷 접근과 감시 기준을 강화한다고 4일(현지시간) 밝혔다. 오픈AI가 공개한 내용에는 영국 인공지능안보연구소(AISI)의 평가 사고와 사이버보안 평가업체 이레귤러(Irregular)에서 발생한 별도 사고가 포함됐다. 앞서 알려진 허깅페이스 침해 사건과도 다른 사례다.

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나
| |

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나

프론티어 인공지능(AI) 모델이 소프트웨어 취약점을 찾고 공격 가능성까지 확인하는 단계에 들어서면서, 발견한 결과를 안전하게 처리할 제도적 기반이 중요해지고 있다. AI가 찾아낸 버그가 많아지면, 실제 취약점인지 검증하고 이를 기업의 패치와 정보 공개로 연결하는 절차가 필요해진다. 또한 취약점이 여러 제품에 영향을 미치거나 기업이 신고에 응답하지 않을 경우에는 연구자와 제조사 사이를 조정할 기관의 역할도 더욱 커질 전망이다.

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너는 미토스(Mythos) 등 프론티어 인공지능(AI) 모델을 내세운 취약점 점검 서비스를 도입하기 전에 실제 사용 모델과 점검 범위, 데이터 처리 방식을 확인해야 한다고 강조했다. 가트너는 22일 발간한 ‘프론티어 AI 취약점 점검을 위한 미토스 공급업체 주장 평가 방법(How to Evaluate “Mythos” Vendor Claims for Frontier AI Vulnerability Scanning)’ 보고서에서 일부 보안기업이 제한적으로 제공되는 프론티어 AI 모델에 대한 시장의 관심을 영업에 활용하고 있다고 분석했다.

[기획/미토스 이후, 취약점 대응③] 패치 못 하는 시스템은 어떻게 지키나
| |

[기획/미토스 이후, 취약점 대응③] 패치 못 하는 시스템은 어떻게 지키나

정식 보안 패치가 아직 나오지 않았거나 공급사의 지원이 끝난 시스템은 바로 취약점을 제거하기 어렵다. 또한 패치가 있어도 기존 애플리케이션과 충돌하거나 시스템 중단이 필요해 즉시 적용하지 못하는 경우도 있다. 이런 상황에서 보안 전문가들이 짚은 대응 방법은 ‘외부 공격 경로를 먼저 차단하고 취약한 자산의 내부 연결을 줄이는 것’이다. 패치 전에 공격자가 이미 내부망에 침투했는지도 확인해야 한다. 가상 패치와 격리 정책이 실제로 작동하는지 지속적으로 검증하는 절차도 필요하다.

End of content

End of content