“알피, 실제 AI 에이전트 구축 노하우로 만들었다”

[인터뷰] 양수열 크라우드웍스 최고기술책임자(CTO)

“엔지니어가 실제로 고객사 AI 에이전트를 구축하면서 부딪쳤던 고민과 해법을 구체화해 솔루션으로 만들었다.”

양수열 크라우드웍스 최고기술책임자(CTO)는 최근 <바이라인네트워크>와 인터뷰에서 얼마전 출시한 AI 에이전트 솔루션 ‘알피(Alpy)’를 이같이 요약했다.

양수열 CTO는 “AI 에이전트를 구현하려면 자연어 처리는 당연하고, 그 다음으로 의사결정을 위한 지식을 증강시키는 지식그래프나 벡터 데이터베이스 같은 인프라가 있어야 하고, 당연히 AI 모델이 있어야 하며, 에이전트를 작동시킬 수 있는 인프라가 필요하다”며 “모든 요소 기술을 연결해 작동하는 것이므로 이를 통합하는 게 필요하고, 대화를 할 때 보안 같은 운영 요소도 필요하다”고 말했다.

그는 “에이전트 운영을 위한 여러 요소를 개발자가 그때 그때 프로그래밍 한다면 기간이 너무 길어지게 된다”며 “알피는 쉽게 도입할 수 있게 하고, 데이터 신뢰성을 끌어올리고, 실제 운영 단계에서 비용이나 보안을 제어하는 것 등을 모두 고려해 실제로 AI 에이전트를 운영할 수 있게 한다는 관점에서 개발했다”고 강조했다.

크라우드웍스의 ‘알피’는 기업에서 AI 에이전트를 도입할 때 발생하는 고비용과 보안 등의 운영 문제를 해결하는 솔루션이다. 데이터 전처리, RAG, 모델 성능평가 등 에이전트 구축과 운영에 필요한 요소를 기능으로 제공한다. 맞춤형 에이전트를 빠르고 쉽게 도입하고, 신뢰성이 높은 AI 서비스과 비용 효율적인 최적의 에이전틱 AI 운영 환경을 구축할 수 있다고 회사측은 설명했다.

알피의 핵심 기능은 6가지로 ▲알피 날리지 컴파일러(Alpy Knowledge Compiler) ▲알피 검색증강생성(RAG) ▲알피 LLM 엔진 ▲알피 에이전트 스튜디오 ▲알피 이벨류에이션 ▲알피 어드민 등이다.

구축 측면의 구성인 알피 날리지 컴파일러는 RAG를 위해 기업 내부의 다양한 포맷의 데이터를 손쉽게 전처리할 수 있게 해준다. 그래프 내의 텍스트나 중첩된 테이블 등 기존 데이터 전처리 기술로 인식하기 어려운 요소를 정밀하게 변환 AI 모델에 학습시킬 수 있는 상태로 만든다. 알피 RAG는 에이전트 기반의 RAG 프레임워크를 제공하며, 에이전트 스스로 검색 전략을 최적화하고 여러 단계를 거쳐 최적의 답을 도출할 수 있도록 지원한다. 알피 LLM 엔진은 비즈니스 상황에 맞는 최적의 LLM과 SLM을 자유롭게 선택하고 운영할 수 있도록 한다. GPT-4o, 라마, 하이퍼클로바X 등 다양한 AI 모델을 활용할 수 있다. 알피 에이전트 스튜디오는 AI 에이전트를 맞춤형으로 개발하고 관리할 수 있는 개발 환경이다. AI의 대화 스타일과 페르소나를 설정하고, 가드레일 데이터를 추가하는 등 다양한 기능을 손쉽게 활용할 수 있다.

운영 측면의 구성인 알피 이벨류에이션은 AI 서비스의 신뢰성과 안전성을 평가하는 솔루션으로, AI가 의도하지 않은 답변을 하지 않도록 제어하는 ‘서비스 안전성 평가’와 의도한 대로 답변하는지를 평가하는 ‘신뢰성 평가’를 제공한다. 알피 어드민은 AI 에이전트 운영을 위한 데이터 관리 대시보드를 제공한다. LLM별 토큰 사용량, 서비스 활용 비용, 서비스 품질 모니터링, 사용자 권한 관리 등의 기능을 이용할 수 있다.

양수열 CTO는 “작년 개발팀에서 기업용 RAG를 구축하는 프로젝트를 진행한 결과를 회고하고 그 노하우를 알피에 넣었다”며 “에이전트를 만들어내는 과정에 필요한 기본 요소가 사전에 정의된 게 있다면 쉽게 만들었을 거라며 만든게 알피 에이전트 스튜디오고, 한글, PDF 등에서 데이터를 뽑아 RAG를 구축할 때 문서 파싱을 쉽게 하고 싶다는 생각에 만든 게 알피 날리지 컴파일러”라고 설명했다.

양 CTO는 “하나의 LLM이 모든 것을 충족할 수 없으니 여러 모델을 골라 쓸 수밖에 없는데 뭐는 무얼 잘하고, 뭐는 무얼 못하는 지 관리할 수 있어야 해서 알피 LLM 엔진을 만들었다”며 “LLM 프로젝트를 수행해 본 사람이라면 질의의 답변 품질을 끌어올리는 작업이 쉽지 않다는 걸 인지하고 있고 어느정도로 사람의 손을 필요로 하는지 무얼 자동화할 수 있는지 파악하기 위해 알피 이베일류에이션을 만든 것”이라고 덧붙였다.

그의 설명대로 알피의 구성 요소는 실제 구축 프로젝트에서 개발자가 마주하는 문제를 구체화한 것이다. 양 CTO는 여러 프로젝트에서 중복된 작업을 많이 하게 되고 이를 노하우로만 유지하지 말고 이를 컴포넌트나 서브시스템으로 공통화해 개발유지보수와 솔루션 도입 회사의 안정성을 높이려 했다고 설명했다.

크라우드웍스 같은 중소기업은 여유있게 인력 운용을 할 수 없다보니, 개발 인력을 실제 고객 프로젝트나 기술 지원에 투입하는 경우가 많다. 이 때문에 개발 인력의 경험과 노하우를 한곳에 모으고 제품으로 구체화하는 역량을 확보하기 쉽지 않았다고 한다.

양 CTO는 “비즈니스에 참여하는 엔지니어와 개발자를 모아 공론화하고 개발과정을 거쳐 산출물을 만들어내는 게 어느 규모의 조직이든 쉽지 않다”며 “개발본부장이 프로토타입을 만들어 구성원에게 보여주고, 내부 조직을 설득하는 과정도 필요했고. 개발프로젝트로 승인받아서 출시까지 가는 과정에서 ‘찐 개발자’인 대표의 기준을 충족하는 것도 어려웠다”고 회고했다.

알피의 구성 요소 가운데 ‘알피 날리지 컴파일러’와 ‘알피 이베일류에이션’은 크라우드웍스 자체에게도, 고객에게도 가장 주목받을 만한 부분이다. 알피 날리지 컴파일러는 국내 기업 상황에서 특수하게 발생하는 문서 파싱 수요에 특히 공을 들인 요소라고 한다.

양 CTO는 “기업 내 상당수 KMS가 웹으로 돼 있고 문서, 사진, 파일, PDF 등이 상당수인 비정형 데이터를 LLM에서 답변에 활용하게 증강하려면 파싱을 잘 해야 하는데, 파싱 결과를 벡터 DB에 넣으면서 품질 차이가 하늘땅만큼 차이날 수 있다”며 “특히 기업 내부 문서의 상당수는 표로 만들어져 있어서 테이블 가로 세로 맥락이 만나는 부분의 콘텐츠를 보고 컨텍스트를 정확히 인지하도록 구현하는데 신경을 많이 썼다”고 말했다.

한글이나 워드 같은 문서 형식은 표준에 기반하므로 상대적으로 문서 파싱이 쉽다. 반면PDF는 이미지 형식과 텍스트 추출 형식이 섞여 있어 OCR로 텍스트를 뽑아내더라도 깨지는 경우가 다반사다. 이를 위해 사후 처리 엔진도 필요하다. 특히 표 같은 콘텐츠가 쉽게 깨진다. 알피 날리지 컴파일러는 이처럼 난해한 문서 내 데이터를 정확하게 벡터 임베딩 할 수 있게 구현했다고 한다.

양 CTO는 “알피 날리지 컴파일러는 도큐먼트 컴플렉시티 모델을 갖고 있어서 문서 복잡도를 분석해 어느정도까지 기계로 자동화할 지 계산해준다”며 “문서를 복잡도 모델로 계산하고, 그 계산 결과를 확률적 수치로 뽑아줘 그에 따라 사람의 투입 정도를 쉽게 판단할 수 있게 했다”고 강조했다.

모델의 신뢰성과 품질을 평가하는 ‘알피 이벨류에이션’의 경우 정량적으로 표준화된 성능지표를 만드는 게 쉽지 않다. 에이전트를 사용하려는 기업의 산업 분야, 성향 등에 따라 좋고 나쁨을 판단하는 기준과 수준이 제각각이기 때문이다.

양 CTO는 “일단 자동 평가나 휴먼 평가를 복합적으로 가능하게 하고, 로그 리뷰를 보고 로그 차원에서 수정하게 하거나 프롬프트로 여러 평가를 하게 했다”고 설명했다.

그는 “그동안 엄청난 양의 GPU 모아서 패러미터를 늘려 성능을 높이던 방식이 주였지만, 중국 딥시크의 등장으로 확장 방식의 성장에 한계가 있다는 걸 사람들도 생각하게 됐다”며 “모델에 대한 새로운 시도도 필요해질 것이고, 다양한 유즈케이스에서 모델 최적화에 대한 요구가 거세질 것”이라고 전망했다.

그는 “유한한 리소스 조건에서 쏟아져나오는 기술을 보고 우리가 투자할 지, 적용 가능한 지 등을 면밀하게 보고 취사선택해야 할 것”이라며 “필요한 기술을 잘 골라내고 빠르게 평가하고 내재화하는 게 중요하다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network