베스핀글로벌 “AI 에이전트 전사 확장, 7계층 기술 스택으로”

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼⑧]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

기업들의 인공지능(AI) 도입이 본격화되면서 실무 적용 단계의 구조적 난제들이 떠오르고 있다. 단일 사용 사례로 개념 검증(PoC)에는 성공하더라도 이를 전사로 확산하는 단계에서는 아키텍처를 처음부터 다시 설계해야 하는 ‘파일럿 함정(Pilot Trap)’이 대표적이다. 여기에 전사적자원관리(ERP), 그룹웨어 등과 같은 기업 핵심 업무 시스템과의 단절, 기업 내부 데이터 유출에 대한 보안 우려, 특정 대형언어모델(LLM)에 갇히게 되는 종속성(Vendor Lock-in), 그리고 투자대비효과(ROI) 측정의 어려움까지 5가지 과제가 AI 확산을 가로막는 거대한 장벽으로 작용하고 있다.

베스핀글로벌은 이러한 현장의 고충과 한계를 극복하기 위해 AI 에이전트의 단순 구축을 넘어 지속 가능한 운영에 초점을 맞춘 엔터프라이즈 AI 통합 플랫폼 ‘헬프나우 AI 파운드리(HelpNow AI Foundry)’를 제공한다. 이 플랫폼은 다수의 AI 에이전트를 중앙에서 설계, 조립, 실행, 관리하며 기업의 기존 업무 시스템 및 데이터, 다양한 LLM과 유기적으로 연결해 실제 비즈니스 작업을 완수하도록 돕는 오케스트레이션 역할을 수행한다.

심규웅 베스핀글로벌 AI 엑스퍼트(Expert)실 실장은 “에이전트 하나를 만드는 것은 가능하지만 수십 수백 개의 에이전트를 안전하고 효율적으로 운영해 지속적인 비즈니스 가치로 연결하는 것은 전혀 다른 차원의 문제”라며 통합 운영 플랫폼의 필요성을 강조했다.

베스핀글로벌은 AI 경쟁력의 핵심이 모델 자체가 아닌 안전하고 효율적인 운영 체계에 있다고 판단했고, 엔터프라이즈 AI 프레임워크를 L1부터 L7까지 ‘7계층 AI 기술 스택(7 Layer AI Stack)’으로 체계화했다.

L1(Infra)은 가장 기본이 되는 최하단 계층으로, AI 워크로드에 최적화된 클라우드 및 온프레미스 인프라를 제공하는 인프라 최적화 단계다.

L2(Models & LLMOps)는 L1을 받치는 멀티 LLM 관리를 뜻하는 LLMOps 계층이다. 이는 다수의 LLM에 대한 학습과 서빙, 모니터링을 단일 운영 체계에서 통합 관리할 수 있도록 지원한다.

L3(DataOps)는 데이터 인프라 영역을 담당하며, AI 레디(AI Ready) 데이터 파이프라인을 구축하는 계층이다. 파편화된 사내 비정형 및 정형 데이터를 AI가 즉각 활용할 수 있는 지식 데이터베이스로 수집하고 정제하는 역할을 맡는다.

L4(Ontology)는 L3의 정제된 데이터를 바탕으로 온톨로지 계층이 비즈니스 지식 그래프를 구축하며, 단순 벡터 검색의 한계를 넘어 데이터 간의 맥락과 관계를 정의해 한층 심층적인 논리 추론을 가능하게 만든다.

실질적인 업무 적용과 통제는 상위 계층에서 이루어진다. L5(Agent Build & Ops) 계층은 에이전트의 설계 및 오케스트레이션, 실행을 총괄하며 기업 업무에 맞춘 AI 에이전트를 실질적으로 기획하고 연동한다.

L6(Governance & Security) 계층은 컴플라이언스와 보안 기능이 통합된 영역으로, 세밀한 권한 제어(RBAC/ABAC)와 개인정보(PII) 탐지, 가드레일 등을 통해 규제 환경에서도 안전한 거버넌스를 내재화한다.

마지막으로 L7(Outcome)은 기술 도입의 최종 목표인 투자대비효과(ROI)를 추적하고 환산하는 성과 관리 계층이다. 기업은 이 단계를 통해 에이전트별 업무 처리 시간 단축 및 비용 절감 등 실질적인 비즈니스 성과를 모니터링하며 AI 운영의 비즈니스 가치를 지속적으로 증명해 낼 수 있다.

7계층 AI 기술 스택은 엔터프라이즈 AI에 필요한 전 과정을 단일 스택으로 통합한 것이 특징이며, 기업은 이를 통해 워크플로우를 설계하고 ‘에이전트 포털’을 매개로 AI를 실제 디지털 인력처럼 활용할 수 있다.

앞서 언급한 7계층 시스템이 전사적으로 맞물려 작동하기 위한 첫 번째 필수 관문은 파편화된 비정형 사내 데이터를 AI가 정확히 이해할 수 있는 ‘지식 자산’으로 전환하는 데이터 파이프라인(RAGOps) 구축이다. 헬프나우 AI 파운드리는 비정형 문서를 자동으로 파싱·청킹·임베딩할 뿐 아니라 단순 벡터 검색의 한계를 넘어 자체 지식재산권(IP)인 온톨로지 스튜디오를 통해 ‘그래프 기반 검색증강생성(GraphRAG)’을 구현한다. 이를 통해 비정형 문서 곳곳에 흩어진 핵심 단어나 주요 개념들이 서로 어떻게 얽혀 있는지 입체적으로 파악하고, 마치 꼬리에 꼬리를 물듯 여러 단계를 거쳐 해답을 찾아내는 심층적인 추론이 가능해진다는 게 심 실장의 설명이다.

데이터 인프라를 탄탄하게 다졌다면, 다음은 특정 IT 기업의 기술이나 단일 AI 모델에 얽매이지 않는 유연성을 확보해야 한다. 헬프나우 AI 파운드리는 단일 레지스트리를 통해 기업이 오픈AI의 GPT, 구글 제미나이, 네이버 하이퍼클로바X 등 상용 및 오픈소스 모델을 자유롭게 선택할 수 있도록 돕는다. 비즈니스 로직과 데이터 관리 체계만 견고하다면, 과제의 복잡도와 비용, 성능 요건에 맞춰 다중 LLM을 동적으로 라우팅하며 언제든 최적의 모델로 스위칭할 수 있다.

베스핀글로벌은 이러한 데이터 및 로직 중심 철학을 재차 강조하며 “데이터를 잘 정제해서 프로세스만 잘 돌리면 된다”고 강조했다. 이어 “비즈니스 프로세스 로직만 잘 구성해 놓으면 LLM을 언제 교체하더라도 톱니바퀴처럼 알아서 맞물려 돌아가기 때문에 LLM옵스(Ops) 관리에 집중하는 것이 맞다”고 짚었다.

플랫폼의 실효성을 좌우하는 현업 부서의 자율성과 레거시 시스템 연동성도 대폭 강화됐다. IT 부서만이 아닌 실무자도 직접 에이전트를 설계할 수 있도록 노코드/로우코드(No-Code/Low-Code) 기반 워크플로우 빌더가 제공된다. 기존 ERP나 고객관계관리(CRM) 시스템은 모델 컨텍스트 프로토콜(MCP) 표준 서버 환경으로 내부망에서 안전하게 연동해, 단순 검색을 넘어 실제 시스템 입력과 승인 등을 처리하는 행동형 에이전트로 기능하게 돕는다.

기업 환경에 치명적인 보안 및 컴플라이언스 영역은 플랫폼 레벨에서 ‘기본적 규제 준수’ 형태로 내재화했다. 사용자 및 조직별 세밀한 권한 제어(RBAC/ABAC), 개인정보(PII) 탐지 및 마스킹, 감사 로그, 자체 AI 가드레일을 기본 제공하여 강력한 통제력을 유지한다. 국제표준화기구·국제전기기술위원회(ISO/IEC) 42001 인증 기반의 거버넌스를 갖춰 망분리 규제가 엄격한 금융 및 공공 산업 환경에도 부합한다.

이러한 전방위적 아키텍처를 바탕으로 베스핀글로벌은 200개 이상의 기업 AI 프로젝트를 수행하며 압도적인 도메인 경험을 축적해 왔다. 2000만건 문서 기반 7대 과제 실행형 에이전트를 구축한 한국수력원자력, 60만건 문서 기반 상담 에이전트를 도입한 국민연금공단, 상시 모니터링 및 보고서 자동 생성을 구현한 국토안전관리원, 그리고 데이터 학습 기반의 유선 주문 자동화로 생산성을 260% 향상시킨 대형 제조사 사례가 그 결과물이다.

그러나 플랫폼과 솔루션이 도입되었다고 해서 곧바로 완벽한 결과가 도출되는 것은 아니다. 심 실장은 “에이전트를 업무에 투입한 뒤 지속적인 시도와 시행착오를 겪어야만 최적화시킬 수 있다”며 “다각도로 직접 시도해 보지 않으면 기업의 업무 프로세스에 제대로 맞물리지 않는다”고 실무진의 지속적인 개선 참여를 당부했다.

이어 심 실장은 “에이전트를 도입할 때 해당 솔루션이 도입 기업 입장에서 실제로 비용을 절감하고 처리 시간을 단축했는지 재무적 성과 지표(KPI)로 실시간 추적하고 리포팅할 수 있어야 한다”며 “명확한 비즈니스 ROI를 입증해야만 재플랫폼화 과정 없이 전사 확산을 위한 내부 동력과 지속적인 투자를 담보할 수 있다”고 전략적 접근의 중요성을 덧붙였다.

[1편 AI 에이전트, 긴 여행의 시작…출발선은 어디인가 바로가기]
[2편 기업 AI 에이전트의 성공은 어떻게 이뤄질까 바로가기]
[3편 AI 에이전트의 긴 여정, 안전벨트는 준비됐나 바로가기]
[4편 미래의 AI 에이전트 플랫폼은 어디로 흘러갈까 바로가기

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network