AI 에이전트, 긴 여행의 시작…출발선은 어디인가

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼①]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다. 

전세계적으로 AI를 도입하려는 기업의 의지는 뜨겁다. 그러나, AI 에이전트를 실제 업무에 투입하고, 안정적으로 운영하며, 투자 효과까지 입증한 사례는 매우 희박하다.

기업의 AI 투자가 실제 효과로 뚜렷하게 나타나지 못하는 이유는 다양하다. 가장 큰 이유는 AI 기술의 너무 빠른 발전이다. AI 모델로 무엇을 쓸 것인가로 시작된 2~3년 전의 AI 도입 고민은 현 시점에 큰 의미를 갖지 못하고 있다. 모델의 눈부신 발전 덕에 AI 활용의 양상이 완전히 바뀌었기 때문이다. 단순히 AI와 채팅하며 질문하고 답을 얻는 검색을 넘어 역량과 권한을 가진 AI 에이전트에게 실제 업무를 맡기는 시대로 접어들었다.

AI 채택 목적을 모델 활용에서 AI 에이전트 활용으로 바꾸면 고민의 시작점부터 바뀐다. AI 에이전트에게 어떤 업무와 권한을 줄 것인가, 기업의 데이터와 애플리케이션을 어떻게 연결해 AI 에이전트에게 제공할 것인가, 여러 에이전트의 협력 상황에서 누가 전체 업무를 통제할 것인가, 에이전트의 잘못된 판단과 행동을 어떻게 발견하고 조정할 것인가, 수없이 늘어나는 에이전트를 어떻게 관리할 것인가, AI 에이전트가 비용을 줄이고 생산성을 높이도록 어떻게 관리할 것인가, AI 에이전트의 활동을 어떻게 가시적 투자 효과로 입증할 것인가 등 생각해야 할 질문이 수없이 뻗어나간다.

AI 에이전트는 기업용 IT 시스템의 새로운 전환점이다. AI 에이전트를 만드는 것과 기업의 핵심 업무를 맡기는 것은 전혀 다른 차원의 문제다. 기업은 에이전트 개발을 넘어 연결·실행·통제·운영을 위한 플랫폼을 구축해야 한다. AI 에이전트 도입 경쟁은 엔터프라이즈 플랫폼을 구축하는 여정으로 출발하며, 이제 막 출발선에 서 있다.

뜨거운 AI 에이전트 시장, 내부 온도는 차갑다

시장의 열기는 확실하다. 가트너의 2026 CIO 조사에 따르면, 이미 AI 에이전트를 배포한 조직은 17%지만, 2년 내 AI 에이전트를 도입할 것으로 예상되는 조직은 60% 이상으로 나타났다. 맥킨지의 2026 AI 현황 보고서는 연매출 10억달러를 초과하는 기업 규모에서 AI 에이전트를 확장한 비율을 40%이며, 전년보다 27% 증가했다고 전했다. 딜로이트는 미국 기업에서 조율된 다중 에이전트를 규모 있게 도입한 조직이 15%라고 발표했다. 이는 기업의 높은 AI 도입 의향과 실제 활용도가 증가하고 있지만, 운영 성숙도는 미미하다는 양면적 시장 상황을 보여준다.

현재 AI 에이전트 시장은 3개의 단계가 동시에 진행되고 있다. 실험과 개별 업무를 자동화하는 단계, 실제 업무 시스템과 AI 에이전트를 통합하는 단계, 전사적으로 에이전트를 운영하는 단계 등이다. 대부분의 기업은 1단계에서 2단계로 이동하는 상황이고, 3단계에 진입한 기업은 극소수다.

POC에서 주저앉는 AI 에이전트

많은 기업이 개념검증(POC)에서 현업 적용으로 넘어가지 못하는 ‘라스트마일’ 문제가 해결되지 못하고 있다. 실험 단계에서 나타난 성과가 현업 적용 단계에서 재현되지 못해 프로젝트 중단이 이어지고 있다. 딜로이트의 8월 보고서에 의하면, 에이전트 확산의 주요 장애물로 통합된 데이터 부족, 신뢰와 거버넌스의 어려움, 통합 비용과 복잡성 등이 지목됐다.

베스핀글로벌의 심규웅 AI Expert실 실장은 “단일 유스케이스로 PoC까지는 성공하지만, 전사 확산 단계에서 아키텍처를 처음부터 다시 설계해야 하는 상황이 반복되고 있다”며 “에이전트를 하나 만드는 것과 수십 수백 개의 에이전트를 체계적으로 운영하는 것은 완전히 다른 문제”라고 설명했다.

AI 실험 프로젝트는 작업 범위도 명확하고, 예외 상황이 제한적이다. 반면, 기업의 실제 업무에서 데이터 누락, API 오류, 권한 부족, 업무 규정 변경, 사람의 승인 지연 등 수많은 변수가 있다. LLM에 기반한 에이전트는 동일한 입력에도 항상 같은 행동을 보장하지 않고, 여러 단계를 거치면서 작은 판단 오류가 누적된다. 때문에, AI 사업의 핵심은 모델의 답변 정확도뿐 아니라 업무 전체의 성공률을 관리하는 것이다. 구매 에이전트의 성공률이 95%라면, 발주 요청 100건 중 95건 성공이 아니라, 5건의 중복 발주나 잘못된 거래처 선택이란 실패가 더 큰 문제다. 이 경우 실무 적용은 어려워진다.

기업이 실제로 AI 도입에서 만나는 문제는 다양하다. ▲데이터가 여러 시스템에 흩어져 있어 품질과 접근권한이 제각각인 데이터 준비의 문제 ▲ERP나 CRM 같은 핵심 시스템에 AI를 안전하게 접근하도록 만들기 어려운 시스템 통합의 문제 ▲에이전트가 잘못 판단하거나 반복 실행하고 예외에 대응하지 못하는 실행 신뢰성의 문제 ▲에이전트가 과도한 권한으로 민감 정보를 조회하거나 변경하는 보안과 권한의 문제 ▲에이전트의 행동과 판단을 추적하기 어려운 운영 가시성의 문제 ▲토큰 비용과 통합 및 운영 비용이 증가하지만 성과를 측정할 수 없는 비용과 ROI의 문제 ▲부서별 에이전트의 난립과 중복 개발이란 확장성의 문제 ▲기존 프로세스를 그대로 자동화해 혁신 효과가 제한되는 조직 및 업무 혁신의 문제 등이다.

심규웅 실장은 “데이터 사일로와 레거시 시스템 단절인데, 대부분의 기업에서 ERP·그룹웨어·전자문서·CRM 등 핵심 업무 시스템이 서로 분리돼 AI 에이전트가 실제 업무를 수행하려면 이 시스템들과 실시간으로 연결되기 힘든 상황”이라며 “각 시스템마다 API 규격이 다르고, 데이터 형식이 제각각이라 연동 자체가 프로젝트 전체 공수의 절반 이상을 차지하는 경우가 많다”고 설명했다.

AI 에이전트는 있는데, 데이터가 없다

AI 프로젝트의 실패 원인으로 대부분 데이터 부재를 꼽는다. AI 에이전트의 실패를 디버깅해 추적하면 결국 벡터 데이터베이스(DB)에 관련 데이터가 없거나, 사내 시스템 기록(SOR)에 대한 시맨틱 계층 혹은 온톨로지가 취약해 비즈니스 맥락을 오인하거나, 데이터 자산화나 표준화 자체가 되지 않는 등 사례가 많이 나타난다.

사내 데이터 연계는 그 자체로 사업의 출발을 어렵게 만드는 지점이다. 각종 레거시 시스템이 개별적으로 구축, 운영돼 왔고, 현대화되지 않았다면 출발선이 AI 도입보다 훨씬 이전으로 멀어진다.

정승모 아이티센글로벌 AX엔지니어링사업부 상무는 “기업의 레거시 시스템이 API화돼 있지 않고, 문서나 엑셀 표 등 사내 비정형 데이터를 파싱과 청킹 과정없이 올리면 ‘가비지 인, 가비지 아웃(GIGO)’이 발생하는 데이터 클린징 문제가 발생한다”며 “A2A, MCP, API 등의 방법으로 사내 시스템과 AI 에이전트를 연결할 수 있다고는 하지만, 대부분의 레거시 앱은 여전히 모노리식 형태고, API화하기 어려우며 데이터 접근 자체가 어려운 상황”이라고 말했다.

그는 “글로벌 솔루션 기업이 자신들의 커넥터를 제공하지만, 대부분 그들의 패키지 앱이나 DBMS 엔진 수준의 커넥터만 있다”며 “결국 레거시 앱에서 MCP 서버 하나 만든다고 해도 API 여는 것부터 시작하는 현대화부터 해야 하고, 그 API를 유즈케이스별로 MCP 서버를 다 만들어야 하며, AI 서비스 단에서 MCP를 찾고 활용하는 형태를 표준화하지 않으면, 애초에 생각하는 생산성 향상 효과를 발휘하기 쉽지 않다”고 지적했다.

그는 “문서 하나를 벡터화한다면, 검색 시 유효한 데이터를 돌려줘야 하는데 그러려면 파싱과 청킹을 잘해야 한다”며 “여기서 파싱과 청킹은 사람 손이 갈 수박에 없는 부분이고, 시중 CSP의 파싱 및 청킹 도구는 라이브러리 수준이고 결국 직접 개발을 해야 하는데, 이는 회사에서 쓰는 복잡다난한 데이터를 넣어봐야알 수 있다”고 덧붙였다.

통제 없는 에이전트의 난립

모든 시스템에 에이전트를 무분별하게 연결하는 건 신입사원에게 입사 첫날 법인카드를 쥐어주는 것과 같다. 통제되지 않는 에이전트는 기업에게 엄청난 부정적 후과를 줄 수 있는 시한폭탄과 같은 존재다. AI 도구에 대한 사용자의 눈높이가 매우 높은 현재 기업에서 제공하는 AI 환경이 그 수준을 따라가지 못하는 격차의 문제도 크다. 이때 조직 내 인력은 공식적으로 허용된 AI 대신 자신만의 서비스를 찾아서 쓴다. 누가 어떤 모델을 어떤 환경을 쓰는 지 추적하는 체계가 없으면 보안과 비용 문제를 초래한다.

그동안 많은 기업은 세간의 유행을 따라가기 위해 AI 에이전트를 도입하는데 급급했다. 이는 준비를 채 갖추지 못한 상태에서 출발하는 오류를 범하게 만든다. 이를 뒤늦게 깨닫는다면 데이터 연계를 위한 레거시 환경의 현대화에 이어, 프로세스 전반을 AI 에이전트에 최적화하기 위한 비즈니스 프로세스 개선까지 점점 사업은 커지게 된다.

김한수 메가존클라우드 AIR 기술유닛 리더는 “에이전트도 기업 입장에서 업무를 수행하는 직원의 하나로 임무를 부여하는데, 신뢰도를 기반으로 권한을 부여하지 않고, 일단 에이전트를 만들어내는데 급급했다”며 “바이브코딩 덕에 에이전트 개발은 매우 쉬워졌지만, 실제 관리와 운영 통제가 더 중요한데 이를 생각하지 않고 작동하는 것 자체에만 초점을 맞추고 있다”고 지적했다.

그는 “에이전트를 만드는 것과 별개로 통제 장치와 휴먼피드백으로 걸러주는 걸 먼저 고민해야 현업 실행에서 충격을 줄일 수 있다”며 “지금까지 사람이 일하기 편하도록 구축된 기업의 프로세스에 에이전트를 붙일 때 잘 잘동하게 전체를 손보려면 큰 규모의 일이 되므로 큰 용기가 필요하다”고 설명했다.

AI 에이전트를 기업 시스템에 연동하는 문제는 보안, 거버넌스, 컴플라이언스 등의 장벽에서 선택과 합의란 결론을 거쳐야 한다. 만약 AI 에이전트를 믿을 수 없고, 규제와 정책 위반 우려를 심각한 리스크만으로 판단해버리면 AI 프로젝트는 한발 더 나아가기 어려워진다.

베스핀글로벌의 심규웅 실장은 “AI 에이전트는 기업 내부 문서와 민감 데이터에 접근할 때 프롬프트 인젝션·PII 유출·환각에 의한 잘못된 의사결정 등 기존 IT 시스템에서는 없었던 새로운 유형의 보안 리스크가 발생한다”며 “금융·공공 등 규제 산업에서는 망분리, 감사 추적, 접근 권한 통제 등의 요건이 AI 에이전트 도입의 가장 큰 장벽이 되고 있다”고 짚었다.

정지환 한컴 최고기술책임자(CTO)는 “큰 걸림돌은 에이전트를 도입했을 때 실제 업무 효율과 비용 절감이 어느 정도 발생하는지에 대한 확신, 그리고 기업의 중요한 데이터와 업무 권한을 에이전트에게 맡겨도 안전한가에 대한 신뢰이며, 여기에 에이전트 사용량이 늘어날수록 증가하는 AI 비용을 어떻게 예측하고 통제할 것인가도 중요한 문제”라고 지적했다.

그는 “실제 업무에서 기존 시스템과 데이터, 조직의 업무 프로세스가 복잡하게 연결돼 있기 때문에 에이전트 하나를 잘 만드는 것만으로는 충분하지 않다”며 “여러 에이전트가 협업하게 되면 누가 어떤 에이전트를 사용하고, 어떤 권한으로 어떤 업무를 수행했는지 관리하고 결과를 검증하는 운영 체계가 필요해진다”고 덧붙였다.

너무 빨라진 AI 발전 속도, 멀어지는 ROI 측정

AI 모델에 대한 적응 문제도 크다. 생성형 AI 시대를 연 오픈AI의 GPT뿐 아니라, 앤트로픽의 클로드, 구글의 제미나이, 스페이스X의 그록, 그밖에 중국의 각종 오픈웨이트 모델 등에 이르기까지 기업 입장에서 모델의 선택지는 많아졌다.  현재 세계 1위 모델의 지위는 점점 더 빠르게 교체된다. 어제의 1위가 순식간에 후발주자에게 왕좌를 내준다. 하나의 모델에 올인하면 특정 모델에 종속돼 단기적인 기술우위에 매몰될 수 있다.

심규웅 실장은 “LLM 모델의 성능 격차와 가격 구조가 빠르게 변화하는 상황에서, 특정 모델에 종속되면 비용 최적화나 성능 개선이 어려워진다”며 “업무 특성에 따라 최적 모델이 다르기 때문에, 이를 유연하게 선택·전환할 수 있는 구조가 필요하다”고 말했다.

운영 단계에서 드러나는 또 다른 문제는 가치 측정의 어려움이다. 현재의 AI 투자는 작게 시작해 크게 확장하는 단계적 접근법으로 주로 이뤄진다. 이 경우 선행 사업에서 투자대비효과(ROI)를 입증해야 지속적인 투자를 이끌어낼 수 있다. 그런데 실제로 ROI를 어떻게 측정하고 지표화할 지 명확하지 않다.

심규웅 실장은 “AI를 도입하는 기업 입장에서 AI 에이전트가 실제로 비용을 절감하고 생산성을 높이고 있는지를 재무적으로 입증하기 어렵다”며 “성과 지표가 명확하지 않으면 전사 확산을 위한 내부 동력을 확보하기 힘들다”고 밝혔다.

김한수 메가존클라우드 상무는 “사람이 10시간 일할 것을 에이전트가 1시간으로 줄였다고 하면 그 중심으로 가는 게 가장 일반적인 방식이지만, 이걸 돈으로 표현해야 할 때 막힌다”며 “지금은 사람의 할일을 얼마나 줄였냐 정도만 판단하고 있고, 효율성에서 생산성 향상으로 연결하는 걸 드러내는 게 쉽지 않다”고 설명했다.

그는 “사람과 시스템의 프로세스를 에이전트에 맡기고, 기존 프로세스를 유지해야 한다면 사람이 전반의 감독하는 휴먼 피드백을 유지해야 하고, 에이전트 영역만 봐도 정량적으로 평가할 다양한 지표를 만들어야 한다”며 “결국 최종 단계에서 사람이 개입하고 상주하다 보니 정량적 계산상 인력이 줄어들지 않고, 기존 재무 계산 방식으로는 에이전트 도입 효과가 적게 포착되는 구조적 한계가 있다”고 분석했다.

왜 AI 에이전트 플랫폼인가

기업이 AI 에이전트 도입을 검토할 때 단일 에이전트 개발이나 개별 솔루션 적용은 적절한 방법이 아니다. AI 에이전트를 만드는 것과 안전하고 효율적으로 운영하는 건 완전히 다른 차원의 문제다.

기업은 개별 에이전트 개발 도구만으로는 해결하기 어려운 문제를 마주하고 있다.

중요한 것은 에이전트 개발 플랫폼과 에이전트 운영·관리 플랫폼이 반드시 같은 제품일 필요는 없다는 것이다. AI 에이전트 플랫폼은 여러 AI 에이전트가 기업 데이터와 업무 시스템을 활용해 실제 일을 할 수 있도록 연결·조율하는 운영체제(OS) 역할을 수행한다.

두뇌만으로 사람이 아무것도 할 수 없든 우수한 모델만 가졌다고 AI 에이전트가 만능으로 일할 수 있는 게 아니다. AI 에이전트 플랫폼은 공통 기반을 구축함으로써 기술을 계속 재활용하고, 여러 모델을 요건과 목적에 맞게 워크로드별로 최적화해 사용하게 하며, 비용을 관리하게 해준다. 보안 설계와 신뢰성 확보, 데이터 연계의 문제도 플랫폼을 통할 때 난제를 해결하기 쉽게 만든다.

파일럿의 함정에서 플랫폼은 수많은 디지털 인력을 중앙에서 등록·배포·통제할 수 있는 ‘작게 시작해 빠르게 확장하는’ 기반을 제공한다. 에이전트별 역할기반접근제어(RBAC/ABAC), 중앙 가드레일, 감사 로그, 킬스위치, 휴먼인더루프 등을 다방면으로 확장하는 과정에서도 일관되게 적용할 수 있게 된다.

플랫폼은 AI 게이트웨이를 통해 질문의 난이도에 따라 저렴한 모델과 고성능 모델로 라우팅하고, 사용자와 부서별 토큰 쿼터 제어 및 GPU 자원 분할·스케줄링을 자동화할 수 있다. 인프라와 모델에 독립적인 미들웨어 계층을 형성함으로써 업무 특성에 따라 최적의 프론티어 모델이나 보안 폐쇄망 모델을 유연하게 교체·연결할 수 있게 한다. 데이터 연계에서도 문서 추출과 RAG, 지식그래프 등의 파이프라인을 제공하고, MCP와 API 연동 작업을 관리할 수 있다.

이제, 시장 경쟁은 에이전트를 얼마나 쉽게 만들 수 있는가에서, 기업 전체의 에이전트를 어떻게 경제적이고 안전하게 운영할 것인가로 넘어간다.

다음 편에서 계속…

글. 바이라인네트워크
<김우용 기자>yong2@byline.network