기업 AI 에이전트의 성공은 어떻게 이뤄질까

[바이라인네트워크 기획 시리즈 / AI 에이전트 플랫폼②]

기업의 AI 에이전트 도입은 짧다면 짧고, 길다면 긴 여정이다. 그리고 완주하기 힘든 여정이기도 하다. 출발선을 긋는 것부터 힘들고, 목표 지점을 잡는 것도 힘들다. AI 에이전트 여정에 존재하는 어려움은 무엇이고, 어떻게 여정을 계획해야 하며, 또 어떻게 여정을 진행할 것인가. 많은 질문이 시중을 뒤엎고 있다. 현재 AI 에이전트 프로젝트에서 발견되는 공통의 문제점과 그 해결 방안, 기술적 논쟁을 분석하고, 현재와 앞으로 AI 사업자의 시장 경쟁 양상을 전망해본다.

[1편 AI 에이전트, 긴 여행의 시작…출발선은 어디인가 바로가기]

오늘날 기업의 AI 에이전트 프로젝트는 대체로 비슷한 흐름으로 진행된다. 업무를 선정하고, 환경을 진단한 뒤, 제한적으로 실험해 성과를 검증하고, 플랫폼을 구축해 전사로 확산하는 순서다. 단일 에이전트 제작을 넘어 전략, 프로세스, 데이터, 거버넌스, 조직 문화 전반에 걸친 단계적·체계적 접근이 필요하다는 게 중론이다.

최고의사결정권자가 강력한 추진력을 갖고 전면적으로 도입하는 것도 한 방법이지만, 대부분의 경우 작게 시작해 빠르게 확산하는 전략이 활용된다.

AI 에이전트 준비도를 진단하는 전략 수립

전반적인 AI 에이전트 전략을 수립하는 단계는 바꿔 말하면 조직의 AI 준비도를 진단하는 과정이다. AI 에이전트를 활용할 업무를 고르고, 데이터와 시스템의 준비 상태를 확인하며, 어떤 거버넌스 체계를 수립할 것인가를 정하게 된다. 전문가들은 실제 프로젝트에서 전략적 검토 단계에서 단순히 기술적인 AI 에이전트 개발 방안을 찾기보다 보안, 가치 평가, 거버넌스 등의 체계적 틀과 사업 목표를 확정한 뒤 구체적인 실행에 나설 것을 조언한다.

구체적인 실행 단계에 들어서면 모든 업무 가운데 AI 에이전트를 활용했을 때 효과가 클 것으로 판단되는 업무를 찾는다. AI 에이전트 도입 후보를 고를 때 생산성 개선 효과가 큰 업무, 필요한 데이터가 존재하는 업무, 기존 시스템과 연계하기 용이한 업무, 오류를 통제하고 문제를 쉽게 해결할 수 있는 업무, 도입 전후 효과를 수치로 측정하기 용이한 업무 등을 고를 수 있다.

전략을 검토할 때 확인해야 할 건 AI 에이전트가 업무 프로세스 전체에 어떤 영향을 주는지다. 빠르게 실험하되 통제 가능한 범위에서 실행해야 한다. 보안과 거버넌스를 도입 이후에 추가하는 것이 아니라 처음부터 업무 위험에 비례해 설계하는 게 중요하다.

김기완 AWS코리아 AI사업 총괄 디렉터는 “AI 애플리케이션과 에이전트를 지속적으로 개선해야 하는 제품으로 바라보고, 새로운 기술을 신속하게 적용할 수 있는 조직 문화와 체계를 갖춰야 한다”며 “반복적인 가설 검증과 개선을 통해 비즈니스 성과를 창출하고, 성과 중심으로 AI 도입의 우선순위를 설정하는 것이 중요하다”고 말했다.

정승모 아이티센글로벌 AI이노베이션센터장은 “표준화 가능한 프로세스부터 먼저 AI 에이전트를 구현하는 게 적절하다”며 “현대화되 있지 않은 시스템에 무조건 API와 MCP부터 만든 건 쉽지 않은 일”이라고 설명했다.

어떤 AI 에이전트를 만들지 정했다면, 업무 정의가 뒤따른다. 한명, 혹은 여러명의 사람이 하나의 업무를 어떤 식으로 진행하는지 업무 프로세스를 구체화하는 작업이다. 보통 사람을 중심으로 짜인 프로세스이므로, AI 에이전트를 중심으로 프로세스를 재설계해야 한다. 이렇게 구체적인 프로세스를 만드는 단계를 거치면 ‘에이전트 빌더’란 도구를 통해 실제 에이전트를 만들게 된다.

서종훈 스케터랩스 CTO는 “시작할 때부터 모든 것이 완벽하게 갖추기보다 프로젝트를 시작하고 경험과 데이터를 쌓으면서, 플랫폼 위에 다 모여 움직이며 완전체로 나아가는 것”이라고 설명했다.

AI 레디 데이터 준비

많은 데이터를 보유했다고 특정 업무에 AI 에이전트를 바로 붙이는 건 적절하지 않다. 보유한 데이터에 AI 에이전트가 접근할 수 있는지, AI에게 정확히 이해되도록 준비돼 있는지, 기업의 업무 규칙을 적용할 수 있는지, 데이터 연계에 필요한 API가 있는지 등을 파악해보는 게 필요하다.

AI가 활용하기 좋은 데이터, 즉 ‘AI 레디 데이터(AI-Ready Data)’가 모든 산업에서 중요해지고 있다. 기업의 데이터와 비즈니스 용어 및 지표 간 관계를 연결하고, AI가 이를 효과적으로 활용할 수 있도록 온톨로지, 지식 그래프, 벡터 스토어 등을 결합한 시맨틱 레이어를 구축하는 것이 중요하다.

AI 모델이나 에이전트 스튜디오 단에 앞서, 비정형 문서의 정밀 파싱과 데이터 클린징, 단일 데이터 파이프라인 및 데이터 단 권한 삽입, 정형 데이터 시맨틱 레이어 매핑, 그리고 점진적 온톨로지 확장이 선행돼야 한다고 한목소리로 강조한다. 어느 경우 에이전트보다 데이터부터 먼저 들여다보란 조언도 나온다.

양수열 크라우드웍스 최고AI책임자(CAIO)는 “비정형 데이터 플랫폼부터 시작해 데이터부터 제대로 들어오게 만드는 데이터 엔지니어링이 핵심이고, 데이터 엔지니어링을 잘 한 상태에서 나오는 결과와 그렇지 않은 상태의 결과는 크게 다르다”며 “PoC의 실패 이유를 디버깅해보면, 에이전트나 라우팅 문제보다 벡터 DB에 정작 필요한 데이터가 없어서 답을 못 내는 것이었다”고 말했다.

그는 “에이전트 구축 전에 데이터 플랫폼부터 제대로 구축하는 것이 올바른 순서”라고 덧붙였다.

김하림 GS네오텍 AI센터 리서치 엔지니어는 “데이터 자산화와 표준화가 돼 있지 않은 경우 AI 에이전트를 붙여도 의미가 없다”며 “좋은 모델은 좋은 데이터 엔지니어링에서 나온다”고 강조했다.

기업 핵심 지식의 대부분은 PDF, HWP, 엑셀, 표 등 비정형 문서에 흩어져 있다. 파싱, 청킹 등 데이터를 비정형 문서에서 추출하는 기술이 많은데, 이때 단순 텍스트 추출이 아닌 문서의 레이아웃과 의미 구조를 유지하는 게 중요한 단추다.

정지환 한컴 최고기술책임자(CTO)는 “HWP, PDF, 오피스 문서 등 기업 내 비정형 문서를 AI가 활용할 수 있는 형태로 데이터 파싱 기술을 통해 문서의 구조와 의미를 보존한 채 변환하고, 문서 구조를 살려 내용을 나누고 색인함으로써 에이전트가 필요한 정보를 정확하게 찾을 수 있다”며 “그 다음 ERP, CRM, 그룹웨어 같은 업무 시스템과 데이터베이스를 연결해 실시간 또는 주기적으로 동기화하면서, 모은 지식을 조직·부서 단위로 나눠 관리하고 저장소별 접근 권한을 적용해, 에이전트도 사용자에게 허용된 범위 안에서만 지식을 활용하도록 한다”고 말했다.

그는 “마지막으로 온톨로지인데, 중요한 것은 처음부터 모든 데이터를 거대한 온톨로지로 만들지 않는 것이고, 에이전트가 수행할 업무를 중심으로 필요한 객체와 관계를 먼저 정의해야 한다”며 “가령, 구매 업무라면 거래처·계약·발주·품목 같은 객체와 그 사이의 관계를 정의하고, 이를 실제 업무 시스템과 연결한 후 적용 업무가 늘어날 때마다 점진적으로 확장해야 한다”고 덧붙였다.

에이전트 단에서 개별적으로 보안과 데이터 권한을 처리하면 개발 복잡도가 폭증할 수 있다. 그러므로 데이터가 색인·저장되는 데이터 포털 및 벡터 DB 단계에서 권한을 사전 삽입해야 한다. 거버넌스 측면이 데이터 레이어 단계에서부터 내재돼야 한다는 것이다.

양수열 CAIO는 “정형이든 비정형이든 단일 파이프라인에서 데이터를 갖고 와서 동일한 방식으로 머신리더블 형태로 변환해 벡터 DB에 들어가야 일관성 있게 관리된다”며 “거버넌스나 권한 부여를 에이전트 단에서 모두 관리하면 개발 복잡도가 올라가므로, 벡터 DB나 검색 엔진에 데이터가 들어갈 때 데이터 자체에 권한 정보가 사전 삽입돼야 한다”고 조언했다.

기업의 대용량 ERP나 RDB 데이터를 자연어 질의(NL2SQL)로 연결하려면 현업의 비즈니스 용어와 DB 스키마를 매핑하는 전문적이면서도 많은 공수를 들여야 하는 시맨틱 레이어 구축이 필요하다. 이 경우 AI 에이전트 플랫폼 차원에서 데이터 레이어를 같이 해결하려 하기보다 플랫폼 이원화도 유효한 선택이다.

김문정 제논 사업개발그룹 사업개발파트장은 “모든 DB에 거대한 시맨틱 레이어를 설계하지 않더라도, 타겟 RDB의 컬럼·테이블 디스크립션 메타를 작성해 함께 임베딩하고 벡터 검색 시 메타 필터링을 거치면 실제 업무에서 상당 수준의 정확도를 확보할 수 있다”며 “전문 데이터 플랫폼 파트너사가 시맨틱과 메타 DB 설계를 맡고 AI 플랫폼이 이를 받아 연계하는 분업 구조가 효과적”이라고 말했다.

제논의 AI 플랫폼인 제노스의 경우 공공·금융사의 복잡한 서식(중첩 표, 레이어)에 대응하기 위해 레이어 디텍팅 및 영역별 최적화된 복수의 전처리기를 운용한다. 메가존클라우드의 AIR는 기업마다 제각각인 문서 유형에 대응할 수 있도록 파서 표준 템플릿을 기반으로 플러그인 형태의 맞춤형 파서를 확장 연동한다. 베스핀글로벌의 헬프나우 에이전틱 플랫폼의 경우 레거시 시스템을 MCP 표준으로  연결하고, 비정형 문서를 자동으로 파싱·청킹·임베딩해 에이전트가 활용할 수 있는 지식 베이스를 구축한다.

거버넌스는 처음부터 내재돼야 한다

거버넌스는 AI 에이전트 프로젝트에서 자칫 진행속도를 더디게 하는 저항요소로 여겨지곤 한다. 그러나 기업의 AI 에이전트가 POC를 넘어 전사로 확장하려면 출발 단계부터 거버넌스를 구축하는 게 중요하다. 탄탄한 거버넌스에서 출발한 AI 에이전트 프로젝트가 장기적으로 더 확산되기 쉬우며, 실패 확률을 낮춘다.

여기서 거버넌스는 데이터 관점의 거버넌스와 에이전트 행동 관점의 거버넌스로 구별된다. 에이전트 거버넌스는 가드레일 형태로 구현된다. 거버넌스는 전체 AI 에이전트 플랫폼에서 다층적으로 내재화돼야 한다.

데이터 거버넌스는 에이전트가 사내외 데이터를 조회하고 활용할 권한을 관리한다. 에이전트 거버넌스는 에이전트의 행동을 통제하고 제어한다. 두 거버넌스는 조직의 기존 사용자, 조직, 권한체계(RBAC/ABAC)을 연계 기준으로 공유해야 하고, 개별 에이전트마다 명확한 책임 소유자를 지정해야 한다.

데이터에 대한 RBAC은 동일한 질의에도 사용자(사람과 에이전트)의 등급에 따라 접근과 표출을 관리하는 것이다. 데이터에 접근 권한에 맞는 거버넌스 태그를 부여하고, 권한없는 사용자의 접근에 암호화된 문서나 보안 태그 문서는 존재 자체를 찾지 못하도록 비노출 처리한다. 레거시 시스템과 DB 연동 도구를 호출할 때도 에이전트 독자 권한 대신 실제 사용자의 인증 정보를 식별해 권한 하에서 실행되도록 제어한다.

거버넌스의 중심적 위치는 일차적으로 AI 게이트웨이다. 모든 에이전트의 모델 호출, 발화, 외부 툴 및 MCP 사용 요청 등이 게이트웨이를 거치도록 단일화해 무분별한 유출과 미통제 트래픽을 관리할 수 있다. 외부 클라우드 환경의 모델 API를 연계하는 경우 DMZ 존에 프록시 서버를 두고 외부로 나가는 프롬프트 질의 및 들어오는 추론 응답을 중간에서 필터링·검수한다. 대기업 지주사나 그룹사의 경우 계열사·법인별로 보안 정책과 테넌트를 나누되, 플랫폼 차원에서는 일원화된 모니터링 체계를 갖추는 게 좋다.

가드레일은 입출력 단에서 문맥 기반 개인식별정보(PII) 마스킹, 정규식 기반 사내 코드명 비식별화, 프롬프트 인젝션 차단, 금칙어 필터링을 실시간 수행한다.

김하림 GS네오텍 엔지니어는 “에이전트가 호출 가능한 사내 API 및 MCP 프로토콜을 화이트리스트로 관리해 DB 임의 삭제 같은 오작동을 차단하고, 업로드 파일의 악성코드 유무 및 위변조를 정밀 검사한다”고 말했다.

비용 통제의 다층적 접근법

거버넌스의 또 다른 측면은 비용 제어다. 특히 GPT, 클로드, 제미나이 같은 초대형 프런티어 모델의 경우 AI 에이전트 실행 과정에서 토큰 비용 폭증을 유발할 수 있다. AI 에이전트는 주어진 과제를 해결하기 위해 과업을 분석하고, 전략을 계획하며, 절차를 쪼개고, 쪼개진 절차를 단계적으로 실행한 뒤 검증 및 평가하고 최종 결과를 보여준다. 중간의 단계에서 검증을 통과하지 못한 실패에 계획 수정과 재시도를 한다. 이 모든 과정이 토큰을 소비한다.

에이전트 수와 사용량이 늘어날수록 LLM 사용료가 급증하므로, 질문의 난이도에 따라 저렴한 모델과 고성능 모델로 라우팅하고 부서별 토큰 쿼터를 통제하는 AI 게이트웨이 및 핀옵스 체계를 사전에 수립해야 한다.

AI 게이트웨이에 배치되는 모델 라우팅은 과업의 난이도와 워크로드 특성에 따라 최적의 모델을 선택적으로 호출해 고비용 지출을 차단할 수 있다.

서종훈 스케터랩스 CTO는 “조건부 모델 라우팅 구조에서 GPU 자원과 토큰을 많이 사용하지 않는 업무는 경량 모델을 쓰고, 어려운 코딩 같은 고난도 과업의 경우 그보다 상위 모델을 호출한다”며 “외부 모델 연동 시 토큰 한도에 걸리거나 장애 발생 시 게이트웨이 차원에서 다른 모델로 자동으로 옮기도록 구현한다”고 설명했다.

에이전트가 수십번씩 질의와 답변을 스스로 주고 받으며 발생하는 토큰 낭비를 데이터 레이어 개선으로 방지할 수 있다.

양수열 CAIO는 “오케스트레이션할 때 여러 개 리퀘스트를 보내고 톱케이를 만들어 답변을 내는 방식은 토큰을 어마무시하게 소모한다”며 “원천적으로 토큰 소모량을 줄이려면, 쓰레기 데이터를 줄이고 정제된 데이터 포털을 구축해 검색 및 추론 연산 인풋 자체를 줄이는 데이터 엔지니어링이 선행돼야 한다”고 설명했다.

무분별한 토큰 소모는 섀도우 AI 측면에서 주목되는 부분이다. 사용자에게 무한정 AI 활용 권리를 주면 겉잡을 수 없는 비용 증가를 겪을 수 있다. 이에 플랫폼 차원에서 사용자와 그룹별로 토큰 쿼터를 부여하고, 핀옵스 기반으로 비용을 통제한다.

정승모 센터장은 “핀옵스 레벨의 기본은 가시화이고, 조직, 사용자, 에이전트별로 어떤 지식베이스나 LLM에 접근하는지 로그를 쌓아야 한다”며 “입출력 토큰을 사람과 에이전트 별로 시각화해 관제하고 있다”고 말했다.

온프레미스 환경을 구축한 경우 GPU 자원에 대한 통제 관리도 필요하다. 물리적인 GPU 환경의 사용량과 점유율을 모니터링하고 쿼터를 설정해 자원을 할당한다.

고우주 나무에이엑스 AI본부 상무는 “AI 에이전트 환경에서 비용은 트랜스포머 알고리즘의 KV캐시에서 새기 쉽다”며 “기본적으로 트램스포머 알고리즘은 KV캐시가 60~80% 메모리 점유를 당연하게 여기는 것인데, vLLM 같은 기술로 메모리를 잘 관리함으로써 GPU 자원의 효율적 활용을  개선할 수 있다”고 말했다.

또 한번의 ‘왜 플랫폼인가’

AI 에이전트 프로젝트는 작게 시작해 빠르게 확산하는 전략을 일반적으로 사용하게 된다. 소규모로 시작하는 프로젝트에서 초기부터 플랫폼을 굳이 고민해야 하는가란 질문이 제기될 수 있다.

답은 간단하다. AI 에이전트 프로젝트의 목적은 실험이 아니라 실제로 현업에서 쓰게 만들어 실제 효과를 거두는 것이다. 만약 플랫폼적 접근대신 임기응변식의 기술 조합법을 택한다면 단계적인 AI 에이전트 확산은 매 단계마다 반복해서 난제를 풀어야 한다. 플랫폼은 미래의 시행착오를 미연에 방지하고, 뚜렷한 설계와 그림 안에서 미래의 행보를 관리하게 해준다.

현재 AI 시장의 관심은 단순히 좋은 모델을 도입하고 활용하는 것이 아니다. AI 에이전트가 사람의 업무를 대신 수행해 생산성을 높이는 것에 있다. 당연히 하나의 AI, 하나의 AI 에이전트로 기업의 복잡한 업무를 처리한다는 건 불가능하다. 다양한 역할을 하는 에이전트들이 협업하고, 에이전트가 기업 내부 데이터와 비즈니스 맥락을 기반으로, 또한 적절한 권한 제어와 거버넌스 및 가드레일 안에서 안전하게 동작하는 게 필수다. 여러 에이전트의 실행을 조율하고 관리하는 플랫폼의 중요성이 커질 수밖에 없는 것이다.

AI 에이전트 플랫폼은 기업의 구성원, 시스템, 기술, 데이터, AI가 모이는 공간이기도 하다. 폭넓은 사용 사례에 맞춘 운영을 전제로 한다는 점에서 플랫폼은 필요하다. 또한, 기술의 재사용, 경험의 재활용, 암묵지의 데이터화는 플랫폼에 기반할 때 비로소 가능해진다. 첫 프로젝트는 3개월 걸려도, 다음 프로젝트는 1달이면 되고, 그 다음 프로젝트는 수주일 혹은 일주일 이내로 단축되는 건 플랫폼에 기반했을 때 나타나는 효과다.

AI 에이전트 플랫폼 자체도 점차 발전한다. SI로 맞춤 주문해 구축한 시스템은 발전할 수 없지만, 플랫폼은 지속적으로 새로운 기술을 수용하고 표준화를 시도한다. 이 플랫폼에 올라탄 조직은 하루하루 달라지는 AI 기술의 변화 속에서도 해답을 찾기 쉬워진다.

그렇다고 AI 에이전트 플랫폼이 단 하나의 플랫폼으로 정해져야 하는 건 아니다. 데이터와 에이전트 계층을 나누듯, 필요에 따라 플랫폼을 영역별로 구분해 최선의 조합을 마련할 수 있다.

국내외에서 AI 에이전트 플랫폼을 제공하는 솔루션기업도 단독 플랫폼을 강요하지 않는다. 현 시점에 부족한 부분은 타 플랫폼과 연계를 통해 메우고, 또 다른 전문 파트너와 협력해 대응하고 있다.

베스핀글로벌의 심규웅 AI Expert실 실장은 “AI 에이전트 플랫폼은 통합적인 모니터링과 전사적 관리를 가능하게 하고, 에이전트 확산 때마다 전체 아키텍처를 재설계하지 않게 하며, 중앙에서 AI 에이전트를 표준화된 체계로 등록, 배포, 통제할 수 있는 기반을 제공한다”며 “특정 LLM에 종속되지 않고, 모든 인프라와 모델을 유연하게 선택·교체할 수 있는 구조가 필수”라고 강조했다.

플랫폼은 처음부터 거대하게 구축하는 것이 아니라 검증된 성공 경험을 반복 가능하게 만드는 방향으로 발전하게 하는 토대다. 공통 기능과 관리 체계는 실제 업무의 요구를 통해 정교해져야 한다. 기업은 AI 에이전트를 개발하는 것에 시선을 고정하기보다 무엇을 맡길 지, 어떻게 안전하게 수행하고 평가할 수 있는 환경을 만들지 넓은 시각으로 봐야 한다. 실험을 기업 전체의 혁신으로 연결하는 출발점이 플랫폼이다.

다음 편에서 계속…

글. 바이라인네트워크
<김우용 기자>yong2@byline.network