“AI 에이전트 성공, 흩어진 데이터 통합부터”

“데이터와 AI로 비즈니스를 혁신하는 전환은 쉽지 않다. 데이터와 AI 자산, 그리고 데이터와 AI를 활용하는 모든 플랫폼과 시스템이 파편화됐기 때문이다. 다양한 시스템, 기록 시스템, 데이터의 상류와 하류에 존재하는 다양한 앱과 솔루션이 흩어져있으면, 데이터가 중복되고, 모든 거버넌스와 통제도 분산된다. AI 에이전트 시대에 성공하려면 레거시 시스템 간의 단절을 해결하고, 운영 데이터와 분석 데이터의 세계를 하나로 묶는 방법을 찾아야 한다.”

닉 에어스 데이터브릭스 아태지역 필드엔지니어링 담당 부사장은 1일 데이터브릭스코리아가 개최한 ‘데이터브릭스 AI 데이 서울 2026’ 행사 기조연설에서 이같이 밝혔다.

그는 데이터와 AI의 민주화 전략을 강조하며, 기업들이 데이터와 AI 전환 여정을 더 이상 늦출 수 없다고 경고했다. 그는 “데이터와 AI에 의해 어떤 형태로든 변화를 겪지 않는 산업은 하나도 없다”며 “아직 시작하지 않았다면 이미 늦은 것이므로, 아주 아주 빠르게 시작해야 한다”고 대응을 촉구했다.

기업은 비즈니스 확장, 투자, 인수합병 등 다양한 이유로 데이터와 시스템의 단편화를 늘려왔다. 이런 IT 시스템의 단절은 데이터 단절, 나아가 거버넌스의 단절을 낳는다. 그리고, 이는 규모의 확장을 따라 복잡성도 함께 심화시킨다. 또한, 분석 데이터와 운영 데이터의 오랜 이원화는 AI 에이전트의 비즈니스 맥락 기반 의사결정이란 목적을 달성하기 어렵게 만든다.

데이터브릭스는 이러한 단편화 문제를 해결하고 데이터와 AI를 민주화하기 위해 ‘AI 데이터 클라우드’ 플랫폼을 제시한다. 닉 에어스 부사장은 “AI를 여러분의 데이터에 가져오고, 모든 데이터를 통합해 AI 기반의 애플리케이션을 구동할 수 있도록 해야 한다”며 “각각의 비즈니스 데이터 의미론에 대한 고유한 정의를 생성하는 데이터와 AI 인사이트의 모든 시스템에 동일하게 보장할 수 있어야 한다”고 강조했다.

데이터브릭스는 운영 데이터와 분석 데이터의 격벽을 허물기 위해 작년 포스트그레SQL 기반 운영 데이터베이스인 ‘레이크베이스’를 출시했다. 레이크베이스는 오픈소스 포스트그레SQL을 사용하며, 스파크 기반의 델타레이크와 함께 운영 및 분석 데이터 환경을 통합하게 한다, 데이터는 아파치 아이스버그 같은 개방형 표준 포맷에 담기고, 유니티 카탈로그를 통해 시맨틱 레이어를 공유한다. 데이터브릭스는 여기에 거버넌스 계층을 더해 AI 에이전트의 인사이트에 안전성과 신뢰성을 강화한다.

그는 “레이크베이스는 에이전트 히어로를 위해 설계된 엔진”이라며 “실시간으로 변화하고 진화하는 자율 에이전트를 지원하기 위해 탄력성, 서버리스 오토스케일링, 분기 기능, 스냅샷 기능 등을 제공한다”고 설명했다.

그는 “거버넌스와 통제권이 없다면 모든 데이터가 있어도 발견할 수 없고, 보안을 유지할 수 없다”며 “시간이 지남에 따라 데이터가 어떻게 변화하는지 설명할 수 없다면 쓸모없다”고 말했다.

이어 놀유니버스의 김영진 놀유니버스 최고기술책임자(CTO)가 무대에 올라 데이터브릭스 도입 사례를 발표했다. 그는 “데이터브릭스 플랫폼 도입은 단순한 기술 선택이 아니라 통합·자율·민첩성이라는 당사의 데이터 철학에 부합하는 전략적 결정이었다”며 “데이터 처리 속도를 개선하고 비용을 절감했으며, 전사적인 데이터 기반 의사결정 역량을 강화했다”고 말했다.

데이터 품질은 AI 성공의 핵심이다. 닉 에어스 부사장은 일반적인 프런티어 모델의 비즈니스 맥락 부족 한계를 지적하며 “대부분 사람들이 사용하는 프런티어 모델들은 대체로 아무것도 아무것도 아닌 것에 대해 매우 자신감 있고 구체적”이라며 “데이터브릭스의 레이크플로우는 클라우드, 온프레미스, ERP, CRM 등 모든 소스 시스템에 연결돼 선언적 파이프라인(declarative pipelines)을 통해 데이터를 쉽게 가져온다”고 말했다.

그는 “그러면 데이터브릭스 플랫폼이 시스템의 확장 방법을 찾아낼 것이고, 당신이 설정한 품질 기대치를 확실히 집행할 것”이라며 “복잡한 엔지니어링 노력 없이도 데이터 품질을 보장하고 워크플로우를 종단 간 조율할 수 있다”고 설명했다.

데이터를 통합하고 거버넌스를 적용한 다음에도 AI를 통한 데이터 민주화는 더 요구된다. 데이터브릭스는 이를 위해 자연어를 이용해 방대한 데이터를 분석하고 활용할 수 있는 대화형 AI ‘지니(Genie)’를 제공한다. 지니는 노코드 기반의 데이터 활용을 돕는 ‘지니 스페이스’와 고급 숙련 전문가의 데이터 분석 및 AI/ML 작업을 지원하는 ‘지니코드’로 나뉜다.

이에 기조연설 무대에 오른 이충우 티맵모빌리티 데이터플랫폼&AX 담당은 “티맵의 AI 모빌리티 서비스를 지원하는 신뢰성 높은 데이터 인프라를 구축하는 과정에서 데이터브릭스는 확장성과 유연성을 제공해 수백만 이용자에게 더 나은 경험을 제공할 수 있도록 지원했다”며 “특히, 지니를 활용해 데이터 비전문 인력도 한국어를 통해 직접 데이터를 탐색하고 분석할 수 있는 환경이 마련됐다”고 말했다.

데이터브릭스는 기업의 AI 에이전트 구축과 운영을 위한 ‘에이전트브릭스’를 제공하고 있다. AI 에이전트를 운영 환경에 투입할 때 가장 어려운 문제는 ‘품질 보장’이다. 닉 에어스 부사장은 “어려운 문제는 그 에이전트를 프로덕션에 투입할 때 그 에이전트가 양질의 결과를 내는지 확인하는 것”이라며 “에이전트브릭스는 에이전트 시대의 새로운 개발 패러다임으로 ‘평가 중심 개발(evaluation-centric development)’을 제시하며, 최선의 평가 프레임워크와 LLM 심사위원을 자동으로 구축해 에이전트 솔루션을 평가하고, 비용 대 품질 간의 최적화 옵션을 제시한다”고 강조했다.

이어 무대에 오른 신정호 LG유플러스 상무는 “데이터브릭스는 LG유플러스의 AI 전환 여정을 가속화하는 데 중요한 역할을 해왔다”며 “데이터브릭스에서 호스팅되는 제미나이를 활용하고 자체 개발한 한국어 임베딩 모델을 데이터브릭스 환경에서 운영함으로써 대규모 언어 모델(LLM) 서비스에 필요한 효율적인 멀티모델 기반을 구축할 수 있었다”고 밝혔다.

그는 “이를 통해 통합 멤버십 포털에서 제공되는 AI 검색 서비스가 고객 문의에 빠르고 정확하게 응답할 수 있었다”고 말했다.

데이터브릭스는 비즈니스인텔리전스에 AI를 접목해 AI 에이전트로 대시보드와 시각화를 직접 구축할 수 있게 한다. 데이터브릭스 AI/BI는 무료로 이용 가능하며, 데이터 변경과 맥락에 맞는 역동적 대시보드와 셀프서비스 BI를 가능하게 한다.

닉 에어스 부사장은 “데이터브릭스 플랫폼의 장점은 작게 시작해서 시간이 지나면서 발전할 수 있다는 점”이라며 “어디서 시작하든 풍부한 기능을 가진 플랫폼을 통해 모델 구축, 에이전트 구축, 애플리케이션 구축, 사이버 보안 등 도메인별 문제를 해결할 수 있는 풍부한 역량을 갖추는데 도움을 받으라”고 강조했다.

강형준 데이터브릭스 코리아 지사장은 “한국은 현재 기업들이 대규모 AI 도입에 속도를 내면서 이례적인 성장 모멘텀이 나타나고 있다”며 “데이터브릭스는 한국이 글로벌 엔터프라이즈 AI 리더로 자리매김할 수 있도록 향후 3년간 1만명의 AI 인재 양성을 지원에 전력을 다할 것”이라고 밝혔다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network