IBM “AI 에이전트 통제의 시작은 신원 부여부터”

“업무적으로 AI를 많이 써야 하는 시기가 곧 도래할 것이므로, 기계와 잘 공존할 수단을 마련해야 한다.  아직 AI가 비즈니스를 수행하기엔 신뢰가 떨어지는 게 사실이므로, AI를 잘 통제해야 원하는 방향대로 활용할 수 있다. AI 에이전트의 신원, 권한, 실행, 도구사용을 런타임에서 통제하지 못하는게 문제의 본질이다. 엔터프라이즈 환경에서 에이전틱 AI를 보호하는 것의 시작은 고유한 신원을 AI 에이전트에게 부여하는 것이다.”

최석재 IBM 상무는 <바이라인네트워크>가 22일 여의도 FKI타워 컨퍼런스센터에서 개최한 ‘금융 테크 컨퍼런스 2026’에서 이같이 밝혔다.

최석재 상무는 “AI 에이전트에게 나의 일을 위임할 때 그 에이전트가 어떤 권한을 갖고 일을 하게 될지 고민해야 한다”며 “나를 대신해서 일할 때 불필요한 권한을 가지면 위험성이 크기 때문에 나의 접근 권한을 갖고 시스템에 연결하는지, 에이전트만의 고유 권한으로 접근하는지 고민해야 한다”고 말했다.

그는 “현 상황에 AI 에이전트가 사람의 권한을 갖고 움직이고 있다는 게 안타까운 현실”이라며 “통제되지 않는 AI 에이전트 ‘그림자 행위자’가 발견되고 있고, 이는 에이전트의 신원 부재, 에이전트 런타임 제어 부재, 감사 추적 불가 등으로 발생한다”고 설명했다.

현재 발견되는 그림자 행위자 문제는 AI 에이전트에게 지시자의 신원을 부여해서 발생한다. 업무를 대행하는 에이전트가 고유의 신원을 갖지 않기 때문에 문제 발생 시 행위 지시자의 정보만 알 수 있다. 일을 위임하는 AI 에이전트가 하나에 불과하더라도, 그 에이전트는 수백가지의 일을 할 수 있다. AI 에이전트가 돌출되는 행위를 하게 되면 비즈니스에 큰 충격을 주게 된다. 이 경우에도 하나의 신원만 나타나므로 구체적인 행위자를 구분하기 어렵다.

최 상무는 “AI 에이전트로 인한 문제 발생시 정확히 추적할 기능이 없는 상황”이라며 “에이전트가 어떤 권한을 갖고, 어떤 일을 했는지, 최초 지시자는 누구인지 등을 등을 제대로 파악하기 매우 어렵다”고 지적했다.

그는 올바른 신원 기반을 갖지 못했을 때 에이전틱 AI가 실패하는 요인을 4가지로 분류했다. 비결정적 행동, 보이지 않는 위임, 실시간 집행 부재, 중앙 가시성 부재 등이다.

그는 “AI 에이전트 하나가 다양한 일을 하기에 똑같은 미션을 주더라도 상황에 따라 다른 결정을 스스로 내릴 수 있다”며 “이런 경우 현재의 기술 수준에서 어떤 데이터로, 어떤 이유로 그 결론을 냈는 지 추적이 불가능하다”고 말했다.

그는 “사용자의 모든 권한을 가진 에이전트가 의도하지 않은 행위를 했다고 해도 막을 방법이 없는 상황”이라며 “현재 이를 제어할 가드레일이 구현되지 않았고, 또한 중앙 집중적으로 문제 발생을 인지해 원인을 파악하고 통제할 헤드쿼터가 없다”고 덧붙였다.

실제로 AI 에이전트로 인해 발생하는 문제가 곳곳에서 발견되고 있다. AI 에이전트가 운영 데이터베이스에 접근해 사용자 지시 없이 스스로 판단해 데이터를 삭제, 수정한 사례가 있었다. 에이전트가 시스템을 해킹해 내부의 인사 데이터를 조회한 사례도 발견됐다. 마이크로소프트365 코파일럿에서 이메일 안에 눈으로 식별할 수 없는 프롬프트를 심어서 의도하지 않는 작업을 자동으로 실행하게 하는 기법이 발견되기도 했다.

최 상무는 “AI 도입을 늦추지 않으면서 AI 에이전트의 신원과 행동을 런타임에서 어떻게 통제할 것인가가 문제”라며 “4개의 핵심 요소가 있는데, 모든 AI 에이전트에게 고유한 신원을 부여하고, 상시 권한 대신에 사용 시점에만 필요한 권한을 제공하는 최소한의 적시 권한을 부여하며, 행위 의도와 목적을 명확히 정의해 이를 집중적으로 규제하고, 감사와 통제 증거를 항상 기록으로 남겨야 한다”고 강조했다.

그는 AI 에이전트에게 신원을 부여하더라도 동적으로 ID를 부여해야 한다고 조언했다. AI 에이전트의 수행 작업이 고정되지 않고 다양해질 수 있으므로, 각각의 일을 수행할 때마다 신원을 유동적으로 발급하는 ‘액터 토큰’을 제시했다.

그는 “여기서 액터 토큰은 사용자의 일부 권한을 갖고 작업해야 한다”며 “이를 OBO 토큰이라 하는데, 사용자 고유의 토큰과 별개로 위임받는 에이전트에게 행위자 토큰을 따로 생성해서 활용하게 하는 것”이라고 설명했다.

그는 “이 토큰은 누가 요청했고, 누가 수행하고, 어떤 일을 수행하며, 얼마나 오래 일할 것인지에 대한 정보를 담는다”며 “추후 에이전트가 특정 일을 수행했을 때 정확히 신원 보증이 되고, 행위한 주체가 에이전트란 걸 명확히 인지할 수 있게 된다”고 덧붙였다.

그는 실제로 AI 에이전트에게 OBO토큰을 부여해 고유 신원과 권한을 주는 아키텍처를 설명했다. 여기서 핵심 요소는 인증 오케스트레이션과 자격증명이다.

사용자가 앱에 접속해 AI 에이전트에게 작업을 위임했을 때부터 인증작업이 시작된다. 사용자 앱 접근 시 사용자의 신원이 인증 오케스트레이션을 통해 앱에게 전달되고, 앱이 사용자의 의뢰를 AI 에이전트에게 전달할 때 AI 에이전트가 다시 인증 오케스트레이션을 통해 사용자를 재확인한다. 에이전트는 OBO 토큰을 발급 받아서 사용자 지시를 파악해 MCP로 시스템을 호출한다. 이때도 MCP 게이트웨이가 자격 증명 시스템을 통해 사용자의 권한을 확인하고, 에이전트의 MCP 접속을 허용한다. AI 에이전트는 시스템에 접속 가능한 사용자 인증 크리덴셜을 발급받게 되는데, 그 사용 기간은 1~2분 수준으로 매우 짧게 설정된다. 그렇게 작업을 처리하면 세션을 종료하고 접근 권한은 폐기된다.

최 상무는 “일련의 업무 프로세스 하의 인증 오케스트레이션과 자격 증명 시스템으로 IBM은 ‘베리파이(Verify)’와 ‘하시코프 볼트(Vault)’란 솔루션을 제공한다”고 말했다.

IBM 베리파이는 에이전트에게 일을 위임하고, 감사하는 일련의 과정에서 적합한 사용자인지 확인하고, 에이전트에게 OBO 토큰을 발급하고 회수하는 역할을 한다. 하시코프 볼트는 API, DB, 웹, 앱 등에 접근할 때 인증하는 수단을 동적으로 제공하는 역할이다.

그는 “RAG 환경을 구축하고 에이전트를 운용할 때 내부와 외부의 대형언어모델(LLM)을 호출하게 되는데, 모든 단계에서 API, AI, MCP 등 각각의 게이트웨이를 거치게 된다”며 “이 게이트웨이들은 인증과 사용자 권한 검증을 계속 체크해 권한있는 사용자에게만 일하게 하는 역할을 하므로, 인증과 권한 부여 부분에서 여러 부분을 생각해야 한다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network