크라우드웍스 “에이전트의 성패는 데이터 엔지니어링”

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼⑫]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

기업들의 생성형 인공지능(AI) 도입 무게중심이 거대언어모델(LLM) 자체의 학습에서 실제 업무를 수행하는 ‘에이전틱 AI’로 이동하고 있다. 막대한 컴퓨팅 자원이 필요한 파운데이션 모델의 직접 개발에 현실적인 한계가 있는 만큼, 이미 개발된 모델을 실제 서비스에 적용하는 사후 학습과 추론 최적화에 대한 관심이 높아지고 있기 때문이다. 이에 기업들은 단순 질의응답형 챗봇을 넘어 업무 목적과 비용에 맞춰 여러 AI 모델을 결합하고 실무 프로세스를 자동화하는 에이전트 환경 구축에 나서고 있다.

그러나 에이전트 플랫폼을 도입하고도 실제 상용화에 이르지 못하는 사례가 적지 않다. 주요 원인 중 하나는 현장의 업무 환경과 제약 요건을 충분히 고려하지 않은 채 기술 도입에 집중하는 데 있다. 예를 들어 기계 소음이 큰 제조 현장에 음성 인식 AI를 적용하거나, 작업자에게 별도의 데이터 수기 입력을 요구하는 등 실제 업무 환경과 맞지 않는 방식으로 시스템을 설계하는 경우다.

양수열 크라우드웍스 최고인공지능책임자(CAIO)는 “과거에는 AI 모델의 사전학습이 주요 이슈였지만, 이제는 포스트 트레이닝으로 관심이 이동했고 추론 서빙이나 실제 서비스에 어떻게 적용할 것인지가 더 중요한 과제가 되고 있다”며 “하지만 실제 현장을 잘 모르는 엔지니어들이 상상만으로 AI를 구축하다 보니 현장의 기대에 부응하지 못하는 시도가 반복되고 있다”고 지적했다.

그는 실제 산업 현장의 물리적 환경과 업무 특성을 고려하지 않은 AI 도입 사례도 문제로 꼽았다. 기계 소음이 큰 제조 현장에 음성 인식 AI를 적용하거나, 실질적인 업무 수요를 충분히 검토하지 않은 채 고가의 로봇을 투입하는 등 현장 여건과 맞지 않는 기술 적용이 대표적인 문제 사례라고 설명했다.

크라우드웍스는 이러한 문제를 해결하기 위해 기업이 에이전틱 AI를 구축하고 운영할 수 있는 엔드투엔드(End-to-End) 솔루션 ‘알피(Alpy)’를 선보였다. 알피는 데이터 전처리부터 에이전트 설계, 서비스 성능 평가 등 AI 도입과 운영에 필요한 과정을 지원하는 5개 모듈로 구성됐다. 이는 ▲널리지 컴파일러 ▲데이터 포털 ▲검색증강생성(RAG) ▲에이전트 스튜디오 ▲이밸류에이션까지다.

알피에서 널리지 컴파일러는 사내 산재한 문서를 AI가 활용할 수 있는 지식 체계로 변환하고, 데이터 포털은 변환된 데이터를 시스템과 연동하고 통합적으로 관리하는 환경을 제공한다. RAG는 사용자의 질문 맥락을 분석해 가장 관련성 높고 적절한 답변을 생성하도록 지원한다. 에이전트 스튜디오는 실제 업무에 투입할 맞춤형 AI 에이전트를 손쉽게 설계하는 공간이며, 이밸류에이션은 최종적으로 해당 AI 서비스의 신뢰성과 안전성을 검증해 리스크를 차단하는 역할을 맡는다.

크라우드웍스는 이 5가지 모듈 가운데 데이터 관리 역량을 가장 핵심적인 요소로 꼽았다. 최신 LLM을 도입하고 에이전트를 구축하더라도, 정작 AI가 참조할 기업 내부 데이터가 제대로 정제되지 않았거나 필요한 정보가 누락돼 있다면 정확한 답변을 기대하기 어렵기 때문이다.

양 CAIO는 기업들이 에이전트 도입 과정에서 겪는 대표적인 문제로 데이터 누락을 꼽았다. 에이전트가 질문에 제대로 답하지 못해 원인을 추적해 보면, AI 모델의 성능 문제가 아니라 벡터 데이터베이스에 필요한 원천 데이터가 없는 경우가 많다는 의미다. 양 CAIO는 “기업들이 에이전트에 질의를 했는데 답변이 나오지 않아 디버깅을 해보고 벡터 데이터베이스를 살펴보면 애초에 데이터가 없는 경우가 많았다”며 “결국 데이터를 처음부터 다시 입력하고 색인하는 작업을 반복하게 되는데, 이를 방지하려면 비정형 데이터 플랫폼을 기반으로 데이터가 제대로 유입되도록 하는 과정이 필수적”이라고 전했다.

이러한 재작업을 줄이고 데이터 처리 체계를 구축하기 위해 알피는 널리지 컴파일러를 제공한다. 기업 내부 데이터는 단순한 텍스트뿐 아니라 표와 이미지가 포함된 PDF, HWP, PPT 등 다양한 비정형 문서 형태로 존재한다. 널리지 컴파일러는 이처럼 복잡한 문서를 AI가 정확하게 인식하고 활용할 수 있도록 적절한 의미 단위(청크)로 분할하고 구조화하는 역할을 한다.

데이터 가공 이후에는 데이터 포털이 원천 시스템 연동부터 데이터 수집, 파싱, 벡터화, 검색 응용프로그램인터페이스(API) 제공까지 전 과정을 하나의 파이프라인으로 통합 관리한다. 특히 대규모 기업 환경에서는 매일 축적되는 방대한 데이터를 모두 재처리할 경우 상당한 시간과 비용이 발생할 수 있다. 데이터 포털은 원본 문서의 메타데이터를 비교해 변경되거나 추가된 데이터만 감지하고 신규 색인하는 ‘증분 수집’ 기능을 제공한다. 이를 통해 전체 데이터를 반복 처리할 필요 없이 시스템 부하를 줄일 수 있다.

보안 관리 기능도 갖췄다. 로그인한 사용자의 소속 부서와 원천 문서의 접근 권한을 대조해 해당 사용자에게 접근이 허용된 정보만 검색 결과에 노출한다. 기업 환경에서 요구되는 데이터 접근 권한 관리와 보안 통제를 지원하는 것이다.

데이터 기반을 마련한 뒤에는 에이전트 스튜디오를 통해 실제 업무에 활용할 AI 에이전트를 설계할 수 있다. 복잡한 코딩 없이 직관적인 워크플로우 화면에서 툴 콜링과 가드레일 등의 노드를 조합해 목적에 맞는 에이전트를 구축할 수 있는 노코드(No-code) 환경을 제공한다.

기업들이 에이전트 운영 과정에서 고려해야 할 또 다른 요소는 LLM 사용에 따른 토큰 비용이다. 성능이 높은 최신 모델을 모든 업무에 적용하면 운영 비용이 커질 수 있다. 양 CAIO는 “알피는 단일 모델에 얽매이지 않고 에이전트나 서비스의 역할에 따라 여러 모델을 유연하게 선택해 사용할 수 있도록 모듈을 분리했다”며 “업무의 중요도와 특성에 따라 적절한 모델을 배분하면 토큰 사용량을 줄이고 운영 효율을 높일 수 있다”고 설명했다.

에이전트를 실제 현장에 배포하기 전에는 이밸류에이션 모듈을 통해 서비스의 신뢰성을 검증한다. AI 답변의 정확성과 맥락 적합성을 평가하는 과정은 정성적인 판단이 필요해 객관화하기 어렵다는 한계가 있다. 알피는 정량 지표 측정과 비판 LLM을 활용한 정성 평가를 병행해 수치화하기 어려운 응답 품질까지 검증한다. 또한 각 분야 전문가와 실제 사용자가 참여하는 휴먼 레드티밍을 통해 서비스 출시 전에 환각(할루시네이션), 편향성, 보안 취약점 등을 점검하고 관련 위험을 확인한다.

크라우드웍스의 이러한 엔드투엔드 인프라는 보안과 정확성이 엄격하게 요구되는 금융·공공 분야에서 두각을 나타내고 있다. 유안타증권은 알피를 기반으로 과거 이력 조회뿐 아니라 미래 일정과 맥락까지 파악할 수 있는 고객용 AI 에이전트를 구축했으며, 해당 서비스는 혁신금융서비스로 지정됐다. 메리츠화재는 보험 설계 업무용 AI 에이전트를 출시하기에 앞서 알피의 이밸류에이션 모듈과 레드티밍을 활용해 서비스 품질과 안전성을 검증했다.

이 밖에도 KB국민은행은 생성형 AI 서비스의 안정성과 데이터 품질을 관리하는 체계를 구축했으며, 한국과학기술한림원은 연구 및 행정 업무를 지원하는 12종의 맞춤형 AI 에이전트를 도입했다. 금융과 공공 분야에서 데이터 관리부터 에이전트 구축, 서비스 검증까지 연계한 AI 활용 사례가 확대되고 있다.

양 CAIO는 AI 에이전트 시장이 플랫폼 자체의 경쟁을 넘어 근본적인 데이터 인프라 싸움으로 진입했다고 진단했다. 그는 “결국 데이터 엔지니어링 역량이 탄탄한 모델에서 나온 결과와 그렇지 않은 결과는 확연히 다를 수밖에 없다”며 “시대가 요구하는 데이터의 성격이 계속 변화하고 있는 만큼, 완벽한 사내 지식 체계를 꾸리고 데이터를 어떻게 가공·연결할 것인가에 대한 본질적 고민이 에이전트 도입의 성패를 가를 것”이라고 강조했다.

[1편 AI 에이전트, 긴 여행의 시작…출발선은 어디인가 바로가기]
[2편 기업 AI 에이전트의 성공은 어떻게 이뤄질까 바로가기]
[3편 AI 에이전트의 긴 여정, 안전벨트는 준비됐나 바로가기]
[4편 미래의 AI 에이전트 플랫폼은 어디로 흘러갈까 바로가기]

글. 바이인네트워크
<김원민 기자>wmkim627@byline.network