가트너, 주목할 에이전틱 AI 기술로 ‘가디언 에이전트’ 선정

정보기술(IT) 시장조사기관 가트너가 에이전틱 인공지능(AI) 시대에 주목해야 할 기술로 ‘가디언 에이전트(Guardian Agents)’를 선정했다고 12일 밝혔다.

가트너는 2030년까지 가디언 에이전트가 전체 에이전틱 AI 시장의 최소 10~15%를 차지할 것으로 전망했다.

가트너에 따르면, 가디언 에이전트는 신뢰할 수 있고 안전한 AI 상호작용을 지원하는 AI 기반 기술이다. 주로 사용자의 콘텐츠 검토, 모니터링, 분석 등을 돕는 AI 어시스턴트 역할을 수행한다. 또, 반자율 및 완전 자율 에이전트로서 실행 계획을 수립하고 수행하며, 사전 정의된 목표에 따라 동작을 조정하거나 차단한다.

에이전틱 AI의 활용이 지속적으로 증가하면서, 이를 통제하기 위한 가드레일이 필요하다는 이야기도 나온다.

최근 가트너는 CIO(정보기술최고책임자) 및 IT 부서 리더 147명을 대상으로 설문조사를 실시했다. 결과에 따르면, 응답자의 24%는 12개 미만의 AI 에이전트(AI Agents)를 구축하고 있으며, 4%는 이미 12개 이상을 도입했다. 응답자의 50%는 현재 AI 에이전트 기술을 연구하거나 실험 중이라고 답했으며, 17%는 늦어도 2026년 말까지 이를 구축할 계획이라고 밝혔다.

가트너는 AI 에이전트를 일관되고 안전하게 운용하기 위해서는 신뢰, 위험 및 보안에 대한 자동화된 제어 체계가 필요하다고 지적했다. 따라서 가디언 에이전트의 필요성이 주목받고 있다.

아비바 리탄(Avivah Litan) 가트너 수석 VP 애널리스트는 “적절한 가드레일 없이 에이전틱 AI를 사용할 경우, 원치 않는 결과가 발생할 수 있다”며, “가디언 에이전트는 광범위한 에이전틱 AI 기능과 AI 기반의 결정론적 평가를 활용해 모든 에이전트 기능을 관리 감독하고, 런타임 의사결정과 위험 관리의 균형을 맞춘다”라고 설명했다.

가트너는 AI 에이전트의 사용 사례가 지속적으로 확대되면서, 다양한 위협 또한 대두되고 있다고 분석했다. 주요 위협 유형으로는 ▲에이전트가 조작되거나 잘못된 데이터에 의존해 발생하는 입력 조작 및 데이터 중독 ▲자격 증명 탈취 및 남용으로 인한 무단 제어와 데이터 유출 ▲에이전트가 가짜 또는 악성 소스와 상호작용하면서 발생하는 유해 작업 ▲내부 결함 또는 외부 요인에 의한 에이전트의 이탈 및 의도치 않은 행동으로 초래되는 평판 손상과 운영 중단이 있다.

가트너는 CIO와 보안 및 AI 리더가 AI 상호작용을 안전하게 지원하기 위해서 가디언 에이전트의 세 가지 핵심 활용 유형에 주목해야 한다고 설명했다. ▲검토 기능으로 AI가 생성한 결과물과 콘텐츠의 정확성 및 사용 가능 여부를 식별하고 평가 ▲모니터링 기능으로 인간 또는 AI 기반 후속 조치를 위해 AI 및 에이전트의 행동을 관찰하고 추적 ▲ 보호 기능으로 자동화된 작업을 통해 실행 중인 AI 및 에이전트의 작동 및 권한을 조정하거나 차단 등이다.

가트너는 향후 가디언 에이전트가 활용 유형과 관계없이 상호작용 및 이상 징후를 관리하는 역할을 수행할 것으로 예측했다. 이러한 기능은 가디언 에이전트 통합의 핵심 요소로 작용하며, 가트너는 2028년까지 AI 애플리케이션의 70%가 다중 에이전트 시스템을 도입할 것으로 전망했다.

리탄 수석 VP 애널리스트는 “AI 에이전트의 급속한 확산과 자율성 증가로 인해, 기존의 인간 중심 감독을 넘어서는 새로운 접근방식이 필요하다”며, “기업들이 다중 에이전트 시스템으로 전환하면서, 시스템의 복잡성과 빠른 통신 속도로 인해 인간의 개입만으로는 오류와 악의적 활동의 잠재적 위협을 감지하고 대응하기 어려워지고 있다”고 강조했다.

그는 이어 “증가하는 위협 환경은 AI 애플리케이션과 에이전트를 자동으로 감독하고 제어하고 보호할 수 있는 가디언 에이전트의 시급한 필요성을 강조한다”라고 전했다.

글. 바이라인네트워크
<최가람 기자> ggchoi@byline.network