미래의 AI 에이전트 플랫폼은 어디로 흘러갈까

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼④]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

[1편 AI 에이전트, 긴 여행의 시작…출발선은 어디인가 바로가기]
[2편 기업 AI 에이전트의 성공은 어떻게 이뤄질까 바로가기]
[3편 AI 에이전트의 긴 여정, 안전벨트는 준비됐나 바로가기]

기업이 AI 에이전트를 도입하는 과정은 끝나지 않는 여정과 같다. 그동안 많은 IT 신기술의 여정과도 다르다. 초기 시행착오를 거쳐 점차 개선해 완성형으로 나아가는 게 전통적인 형태라면, AI 에이전트 프로젝트는 기술 발전을 따라가며 새로운 형태로 끊임없이 진화한다.

그 여정의 사이사이 여러 쟁점이 존재한다. 타협과 선택의 지점에서 기술적 해법도 부족한 부분도 있다. 그렇기에 지금 현재 AI 에이전트 프로젝트를 진행 중이라 해도 완전한 결승선을 그리는 건 불가능하다. 가장 뛰어난 걸 선택하는 게 아니라 가장 기민하게 상태를 진단하고 변경할 수 있는 유연함이 필요한 시점이다.

구축이냐 Vs. 구독이냐

생성형 AI의 등장 후 GPU 확보는 끝나지 않는 숙제다. 퍼블릭 클라우드나 네오클라우드의 GPU 자원을 임대해서 활용할 것이냐, 프라이빗 인프라를 구축해 직접 운영할 것이냐 정답은 없다.

생성형 AI 시대를 열고 지금도 시장을 선도하는 오픈AI, 앤트로픽 등의 AI 서비스는 최근 들어 적극적으로 엔터프라이즈 AI 시장을 두드리고 있다. 오픈AI와 앤트로픽은 공통적으로 기업고객을 미래 주요 수입원으로 보고 챗GPT 엔터프라이즈나, 클로드 엔터프라이즈 등을 강화하고 있다.

모델과 서비스의 수준만 보면 프런티어 모델 개발사의 것이 업계의 표준이다. 일반소비자와 기업 내 직원의 프런티어 AI 서비스에 대한 선호도가 제일 높다. 하지만 특정 모델 제공회사의 AI 서비스에 올인하는 것에 기업 시장은 우려의 시선을 떨치지 않고 있다. 선호의 문제가 아니라 데이터 주권, 보안, 신뢰성, 규제, 비용, 거버넌스 등에 대한 문제다.

데이터 주권 문제가 한동안 큰 이슈였다. 올해 들어 AI 모델 회사가 데이터비저장(ZDR) 정책을 변경해 사용자의 프롬프트, 컨텍스트, 답변 데이터 등 AI 모델 활용 정보를 장기 보관하고, 활용할 수 있다는 우려가 제기됐다. 오픈AI, 앤트로픽 등의 모델 제공사는 추론 환경에 ZDR을 기본 지원한다. 그러나 AI 에이전트의 장기 메모리, 코드 샌드박스, 세션 파일 저장소 등은 사용자 데이터를 보관해야 추론 성능을 높일 수 있어서 향후 모델사의 사용자 데이터 재활용 여지를 남긴다. 또 사용자의 오남용 패턴 감지를 위해 ZDR을 느슨하게 적용하려는 시도도 있었다.

ZDR은 모델 API 단에서 데이터를 저장하지 않고 휘발성 메모리에만 둔다는 비저장 약속이다. 이는 다중 단계로 동작하는 AI 에이전트는 세션 기억, 대화 이력, 툴 실행 상태 등을 보존해야 하므로 에이전트 아키텍처 단에서 ZDR을 완벽히 유지하기 어려운 기술적 패러독스가 존재한다. 또 ZDR은 AI 모델 제공사가 자사 서버에 고객 데이터를 저장하지 않는다는 것만 보장할 뿐 전송되는 데이터나 ERP, CRM 등과 연결되는 사내 미들웨어 및 데이터 커넥터 단까지 모두 보장하지 않는다. 더구나 데이터 유출 우려와, 보안팀 감사 로그 보존 정책이 모순되기도 한다.

그밖에도 SaaS 형태의 AI 서비스를 활용할 경우 사내 기밀 문서나 개인식별정보가 외부나 국외로 반출될 수 있고, 특정 AI 회사의 모델과 서비스에 종속될 수 있다. 비용 면에서도 가격 결정권을 벤더에 넘겨주므로 운영 예산 관리가 난항에 빠질 수 있다. AI 모델의 버전 변경이나 시스템 동작 방식의 갑작스러운 변경이 잦은 AI 서비스의 특성을 감안할 때 자칫 기업의 업무 전체가 모델 개발사의 정책 변화에 큰 영향을 받을 수 있다.

더구나 SaaS형 AI 서비스를 원천적으로 사용하기 힘든 영역도 있다. 대규모 제조 기업의 경우 공급망에 연결된 모든 협력사가 보안 인증을 받아야 하므로 퍼블릭 서비스 사용이 거의 불가능에 가깝다는 분석도 있다. 공공, 국방, 금융 분야의 경우 기본적으로 망분리 원칙을 규제하므로 핵심 업무를 포괄한 전반적 IT 환경에 쉽게 SaaS를 적용하기 어렵다. 망분리 예외가 늘어나는 추세지만 여전히 SaaS를 메인으로 운영하기 힘든 게 현실이다.

온프레미스 폐쇄망에 자체적인 AI 시스템을 운영하는 경우 앞서 거론된 리스크는 이론적으로 차단 가능하다. 그러나 폐쇄망에는 또 거기만의 문제가 있다. 상용 프런티어 모델과 오픈소스 및 오픈웨이트 모델 간의 성능 격차는 언제나 존재한다. 폐쇄망 밖 외부 SaaS에 익숙해진 조직 구성원 개인의 눈높이를 충족시키는 게 어렵다. 상용 모델과 달리 자체적으로 최첨단 모델(SOTA)로의 업그레이드 혹은 업데이트를 지속적으로 소화해야 한다는 부담도 크다.

비용도 숙제다. 고가의 GPU를 대량으로 구매하기 힘들 뿐 아니라 원하는 시점에 최신 GPU를 공급받는 게 여전히 어렵다. 힘들게 GPU를 확보했다 해도 GPU의 활용률이 떨어질 수 있고, 2~3년에 불과한 GPU 수명주기에서 사용자 만족도를 어떻게 유지할 것인가도 난제다.

거버넌스냐 Vs. 자유냐

많은 AI 솔루션 제공회사가 공통적으로 AI 에이전트의 거버넌스를 최우선 요건으로 꼽는다. 그러나 통제의 강화는 실제 사용자의 불만을 낳을 수밖에 없다. 직원은 회사의 플랫폼에서 제공하는 서비스의 자유도에 한계를 느끼기 쉽고, 허용되지 않는 외부 서비스 이용 유혹을 떨치기 어렵다. 사용자의 눈높이는 최신 모델에 맞춰져 있고, 기업의 AI 거버넌스는 그 눈높이를 따라가지 못하게 만들 수 있다. 이는 AI 에이전트의 현업 활용을 줄이고, AI 프로젝트의 성과를 떨어뜨리는 요인이 된다.

거버넌스 체계를 촘촘히 구성할수록 AI 에이전트 활용의 체감효과도 줄어들 수 있다. 대체로 AI 에이전트 거버넌스 체계는 ‘휴먼 피드백’을 핵심으로 하고 있는데, 이는 자동화 흐름에서 인간의 개입 횟수를 늘려 자동화 효과를 반감시킨다.

이는 ‘AI 에이전트를 누가 만들어야 하는가’란 질문과도 연결된다. 통상 AI 에이전트 프로젝트는 ‘AI센터’, ‘AX본부’ 같은 별도의 AI 조직을 중심으로 시작되고, AI 에이전트도 전문 조직에서 만들어낸다. AI 조직은 현업 의견 청취나, 컨설팅 등을 통해 대표 과제를 도출해 AI 에이전트를 만들어 조직 내 최종 사용자에게 배포한다.

일단 현업의 호응을 얻지 못하고 폐기되는 AI 에이전트가 많을 수 있다. 반대로 조직 내 호응을 얻어 AI 에이전트 수요가 급증한다고 해도 마냥 좋지 않다. 수요 증가는 AI 조직의 에이전트 개발 업무 부담을 가중시킨다. 현업 부서의 요구가 AI 조직에 선정되지 않아 조직 내 반발감을 심화시킬 수도 있다.

에이전트 빌더 같은 툴에서 자연어로 AI 에이전트 개발을 쉽게 할 수 있다고 해서 무조건 현업 부서에 넘길 수도 없다. 접근성의 확대는 리스크의 확대이기도 하기 때문이다. 사용량 증가에 따른 비용의 폭증이 대표적인 리스크다. 품질과 거버넌스의 붕괴를 우려해 까다로운 승인 프로세스를 운영하면 다시 섀도우 AI를 늘리는 패러독스가 발생한다.

암묵지를 어떻게 데이터화할 것인가

AI 에이전트가 사람의 업무를 완벽하게 대체한다는 건 현재로선 사실상 불가능하다. 특히 숙련자의 머릿속에만 있는 노하우 ‘암묵지(Tacit Knowledge)’는 쉽사리 AI 에이전트로 이식되기 어렵기 때문에 AI 에이전트의 역량은 한계를 가질 수밖에 없다.

현재 암묵지를 어떻게 데이터화하고 자산화할 것인가는 무시할 수 없는 쟁점이면서, 가장 큰 도전과제로 꼽힌다.

암묵지의 문제가 가장 눈에 띄게 대두되는 영역은 피지컬 AI와 제조 산업이다. 고령화 문제와 신입 직원 채용의 어려움 등이 제조 산업의 AI 도입 욕구를 높이고 있다. 퇴직하는 숙련자의 노하우가 사라져 조직의 경쟁력 감소로 이어질 수 있다는 게 전세계 제조기업의 주요 고민 중 하나다.

일단 AI의 인력 대체로 인한 일자리 상실 공포는 암묵지의 데이터화를 가로막는 가장 큰 심리적 요인이다. 사람의 노하우를 AI 에이전트로 만들라는 조직의 요구가 생존권 불안감을 높이고 데이터 제공을 거부하거나 AI 도입 자체에 반대하게 만든다.

또 대부분의 직원은 자신의 암묵지를 명확히 알지 못한다. 일을 처리하는 본인조차 머리 속에서 벌어지는 판단의 논리나 노하우를 어떻게 문서화할지 힘들어한다. 퇴사하는 직원의 인수인계 문서가 후임자의 성공적인 업무 수행으로 연결되기 힘든 주된 이유다.

스킬, 하네스 등은 암묵지의 데이터화에 활용되는 기법이다. 머릿속의 규칙과 논리를 ‘스킬’이란 컨텍스트와 스크립트로 만들고, 스킬들을 축적하면서 암묵지를 구체화할 수 있다. 직원이 자신의 업무 자동화 수준을 높이려 스킬에 노하우를 더 많이 녹이면 회사의 시스템에 암묵지가 데이터화돼 자산으로 남을 수 있다. AI 에이전트와 대화를 주고 받는 과정에서 축적되는 대화 컨텍스트와 장기 기억을 관리해 ‘스킬’로 만드는 것도 많이 활용된다. 하네스는 AI 에이전트의 업무 수행 품질을 일관되게 유지하고, 통제하는 실행 환경이다. 동시에 업무 지식이기도 하다. 경험, 판단 기준, 예외 처리, 업무 관행 등이 하네스로 구현될 수 있다.

문제는 스킬과 하네스를 어떻게 다룰 것이냐다. 하네스 설계와 스킬 축적은 강압적 변화 관리만으로 확보되기 어렵다. 암묵지를 어떻게 발굴하고, 데이터 형태로 전환할 것인지, 현업 직원의 자발적 참여와 호의적 태도를 어떻게 형성하고 유지할 것인지가 관건이다.

부가적인 문제는 AI를 구축하느냐, 구독하느냐의 질문으로 돌아간다. 자칫 조직의 핵심 경쟁력인 암묵지가 스킬과 하네스의 형태로 SaaS 제공 기업에게 넘어갈 우려도 있기 때문이다.

이밖에도 MCP와 A2A 프로토콜이 데이터 연결과 멀티 AI 에이전트 문제를 해결할 만능키인가, 확률성에 기반하는 AI 에이전트의 신뢰성을 어떻게 확보할 것인가, 멀티 에이전트가 반드시 나은 선택인가, AI 에이전트의 경제성을 어떻게 정량적으로 입증할 것인가 등도 현재진행형인 쟁점이다.

한국 AI 에이전트 시장 현황과 전망

현 시점에 기업의 AI 에이전트 플랫폼 시장은 미성숙 영역이다. 솔루션과 서비스 공급 업체마다 플랫폼의 정의와 범위가 제각각이고, 이를 소비하는 기업 고객 역시 명확한 운영 모델을 갖지 못한 상태다.

AI 에이전트 플랫폼은 에이전트를 개발하는 빌더나 SDK, 에이전트를 실행하고 워크플로우를 관리하는 런타임, 멀티 에이전트를 연결하고 조율하는 오케스트레이션, 에이전트의 품질과 행동을 추적하는 옵저버빌리티, 기업 전반의 에이전트 권한과 정책을 관리하는 거버넌스 등으로 크게 구분되는데, 솔루션 회사의 플랫폼 제품마다 포함하는 게 다르다.

단일 플랫폼에서 AI 에이전트 구축과 운영에 필요한 모든 요소를 제공하는 건 아직 없다.

한국의 AI 에이전트 플랫폼 시장은 폐쇄망이란 별도의 영역을 중심으로 발전하는 독특한 양상을 보이고 있다. 아마존웹서비스(AWS), 마이크로소프트, 구글클라우드 등의 클라우드 인프라나 오픈AI, 앤트로픽 등의 전문 AI 서비스 활용이 원천 차단된 영역에서 국내 IT기업의 AI 에이전트 플랫폼 수요가 크다.

이런 가운데 AI 에이전트 플랫폼을 제공하는 회사는 인프라, 에이전트 구현 노하우, 데이터 전처리와 연계, 보안성, 운영 편의성 등 저마다의 강점을 내세워 앞다퉈 고객에게 다가가고 있다. ‘소버린 AI’에 우호적인 시장이란 점도 한국의 AI 에이전트 플랫폼 시장 분위기를 형성하는 주요 조건 중 하나다.

AI 모델 자체를 개발하는 영역은 전문 기업에게 맡기고, 실제로 AI 모델을 생산성 향상으로 연결하는 부분에서 AI 에이전트 플랫폼의 수요는 커질 수밖에 없어보인다. AI 모델 제공사가 실제 기업과 조직 내부의 체계를 완벽히 이해하기 힘든 상황에서 플랫폼 제공사는 중간 다리 역할을 하고 있다. 국내 기업만의 독특한 문서 형식,  IT환경, SI 위주 IT 시스템 등도 무시할 수 없는 시장 환경이다.

국내 IT회사의 AI 에이전트 플랫폼 시장이 얼마나 지속될지는 불확실하다. 오픈AI나 앤트로픽이 과거 클라우드 회사들의 행보처럼 하드웨어에 AI 모델과 에이전트 서비스를 실어 폐쇄망 안에 직접 설치하는 시나리오도 언제든 가능하다. 하지만, 거대 AI 기업이 각 기업 내부 구성원의 모든 암묵지를 흡수하고, 기업마다의 워크플로우를 완벽히 대체하지 않는 한 AI 에이전트 플랫폼의 존재가치는  쉽게 사라지지 않을 것이다.

글로벌 기업의 AI 에이전트 솔루션 발표는 화려하고, 스마트함의 경지를 한차원 끌어올릴 것 같지만, 실제 현장의 성패는 지루한 문제로 좌우된다. 데이터, 거버넌스, 비용, 조직 등의 얽히고 얽힌 문제를 하나하나 해결하는 과정은 지루하고 피곤하다.

나무에이엑스, 메가존클라우드, 스켈터랩스, 베스핀글로벌, 아이티센글로벌, 제논, GS네오텍, 크라우드웍스, 한컴, 안랩, 에임인텔리전스, 파수AI 등 현재 국내 IT 기업의 AI 에이전트 플랫폼은 국내 주요 고객사에서 반복적으로 요구받는 기능을 매번 맞춤 개발하는 대신 표준화해 패키지화한 것이다. 이 점이 우리나라 AI 에이전트 플랫폼의 안타까운 점이면서도 큰 강점이다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network