AI 에이전트 확산에 레드팀도 바뀐다…“행동 전체 점검해야”
인공지능(AI) 에이전트가 외부 도구를 호출하고 데이터에 직접 접근하면서 AI 레드팀의 점검 범위도 넓어지고 있다. AI 모델이 유해한 답변을 내놓는지를 점검하는 데서 나아가 에이전트의 신원과 권한, 데이터 흐름, 도구 호출, 행동 경로 등 전체를 평가하는 프레임워크 구축도 본격화되고 있다.
인공지능(AI) 에이전트가 외부 도구를 호출하고 데이터에 직접 접근하면서 AI 레드팀의 점검 범위도 넓어지고 있다. AI 모델이 유해한 답변을 내놓는지를 점검하는 데서 나아가 에이전트의 신원과 권한, 데이터 흐름, 도구 호출, 행동 경로 등 전체를 평가하는 프레임워크 구축도 본격화되고 있다.
프라이빗테크놀로지는 사명을 ‘프라이빗에이아이(PRIBIT AI)’로 변경하고 인공지능(AI) 실행 통제 기반 플랫폼 기업으로 사업 영역을 확장한다고 9일 밝혔다.
아이티센피엔에스는 생성형 인공지능(AI)과 에이전틱 AI 확산에 대응해 ‘AI 시큐리티 이노베이션 센터(AI Security Innovation Center)’를 기반으로 AI 보안 대응 사업을 확대한다고 8일 밝혔다.
솔트룩스(대표 이경일)는 하나금융티아이(대표 박근영)의 사내 독립 기업인 하나금융융합기술원(원장 이해)과 금융 업무에 최적화된 AI 파운데이션 모델을 공동 개발했다고 9일 밝혔다.
과학기술정보통신부(이하 과기정통부)와 한국인터넷진흥원(KISA)은 인공지능(AI) 서비스의 보안 위협을 점검하고 대응할 수 있도록 ‘AI 보안 위협 대응 매뉴얼’과 ‘AI 보안 레드티밍 가이드’를 발간했다고 8일 밝혔다.
8일 서울 신라호텔에서 열린 제15회 정보보호의 날 기념식 기조연설의 핵심 화두는 ‘AI가 끌어올린 공격 속도에 어떻게 맞설 것인가’였다. 연사들은 사람 중심의 대응만으로는 공격 속도와 규모를 따라가기 어렵다며 보안 체계를 자동화된 방어 중심으로 전환해야 한다고 진단했다.
이재명 대통령은 8일 “피해가 발생한 이후 수습하는 기존 방식에서 벗어나 기업의 선제적인 정보보호 투자를 촉진하는 환경을 조성하겠다”고 강조했다. 인공지능(AI)을 활용한 공격이 정교해지는 만큼 범부처 대응체계를 확대하고 AI 기반 보안 기술과 산업 생태계를 육성하겠다는 구상이다.
앤트로픽의 인공지능(AI) 모델 미토스를 기점으로 AI의 소프트웨어 취약점 탐색 능력이 빠르게 발전하고 있다. AI가 대량의 취약점을 찾고 공격코드까지 만들 수 있게 되면서, 이를 어떻게 빠르게 분석, 검증하고 대응, 관리할 지가 주요 과제로 떠올랐다. 바이라인네트워크는 ‘미토스 이후, 취약점 대응’ 기획 시리즈로 AI 이후 취약점 관리와 대응 체계가 어떻게 달라져야 하는지 살펴본다. 첫 회에서는 기업의 패치 과정에서 발생하는 병목을 짚어 봤다.
인공지능(AI)이 챗봇에서 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. 이제 단순히 유해한 답변을 차단하는 것만으로는 안전을 확보하기 어려워졌다. 이에 AI가 어떤 정보에 접근하고 누구에게 정보를 보내는지, 현실에서는 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.
신한금융지주가 인공지능 전환(AX)과 디지털 전환(DX)을 그룹의 생존과 직결된 핵심 전략으로 삼고 ‘AI 네이티브(AI Native) 컴퍼니’ 구현에 속도를 내고 있다. AI를 특정 부서의 기술이 아닌 전 임직원이 활용하는 업무 기반으로 정착시키기 위해 그룹 차원의 거버넌스(관리체계), 조직, 인프라를 동시에 강화하고, 고객 서비스와 내부 업무 전반으로 AI 활용 범위를 확대하는 모습이다. 신한금융은 현업 부서가 직접 AI를 활용해 업무 혁신을 이끄는 AI 네이티브 컴퍼니를 목표로 삼고 있다. 이를 위해 그룹 차원의 AX추진센터가 AI 전략과 방향성을 수립하고 계열사의 AI 추진을 지원한다. 각 계열사는 업무 특성과 사업 환경에 맞춰 자체 AI 플랫폼을 구축하거나 외부 솔루션을 도입하는 방식으로 AI 활용 기반을 마련하고 있다.
내일(7일)부터 온라인상 허위조작정보 유통을 방지하는 개정 정보통신망법이 본격 시행된다. 위반 시 최대 10억원의 과징금이 부과될 수 있다. 플랫폼 업계에서는 무엇이 가짜뉴스인지 판별할 법적 기준이 모호하다고 지적한다. 이런 상황에서 실무 규제가 가동되면 현장의 운영 부담과 법적 리스크가 커질 수 있다는 우려도 제기된다.
앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.
에버스핀은 티냅스와 인공지능(AI) 신뢰 보안(AI Trust Security) 분야의 전략적 협력 계약을 체결했다고 6일 밝혔다.
인공지능(AI) 데이터·신뢰성 검증 전문기업 셀렉트스타는 자사 AI Safety팀의 연구 논문 3편이 ‘ICML 2026’ 워크샵에 게재된다고 6일 밝혔다.
SK쉴더스는 에코프로 포항공장에 운영기술(OT)·산업제어시스템(ICS) 통합 침해대응 플랫폼을 시범 적용한다고 6일 밝혔다. 이번 실증은 에코프로가 생산설비까지 보안 적용 범위를 확대하는 과정에서 추진한다. 에코프로는 국내외 공장의 기반시설과 통합 보안관제 체계를 고도화해 왔다.
End of content
End of content