데이터브릭스, AI 에이전트 도구와 운영 DB 공개

데이터브릭스는 9일부터 12일까지 미국 샌프란시스코에서 개최한 ‘데이터+AI 서밋 2025’ 컨퍼런스에서 비즈니스 맞춤형 고성능 AI 에이전트를 자동으로 생성할 수 있는 ‘에이전트 브릭스(Agent Bricks)’를 공개했다.

사용자는 에이전트 작업에 대한 전반적인 설명과 기업 데이터를 연결하면, 나머지 모든 과정은 에이전트 브릭스에서 자동으로 처리한다. 에이전트 브릭스는 ▲구조화된 정보 추출 ▲신뢰도 높은 지식 탐색 지원 ▲맞춤형 텍스트 변환 ▲다중 에이전트 시스템 오케스트레이션 등 다양한 업계 표준 활용 사례에 최적화됐다. 에이전트 브릭스는 현재 베타 버전으로 이용 가능하다.

에이전트 브릭스는 모자이크 AI 리서치에서 개발한 최신 연구 기법을 적용해, 도메인 특화형 합성 데이터와 작업 인지형 벤치마크를 자동으로 생성한다. 이러한 벤치마크를 기반으로 비용과 품질 간 최적 균형을 자동 조율해, 기존 방식에서 요구되던 반복적인 시행착오를 줄여준다. 내장된 거버넌스 및 엔터프라이즈급 제어 기능을 통해 별도의 도구 통합 없이도 개발 단계에서 실제 운영까지 빠르게 전환할 수 있다.

기업의 AI 에이전트 현업 배포 난제는 품질과 비용에서 비롯된다. 대부분의 팀은 직관에 의존해 에이전트 생성 결과를 판단하며, 일관성 없는 품질과 높은 비용, 반복 불가능한 실험으로 이어진다. 새로운 AI 모델과 기술의 등장은 상황을 더 복잡하게 만든다.

기업은 도메인 특화형이면서 반복 가능하고, 객관적이며 지속적인 평가 체계를 요구하고 있다.  최신 기술을 도입하되 과도한 예산 투입이나 팀 전체의 재교육 없이 활용할 수 있어야 한다.

에이전트 브릭스는 우선, 작업별 평가 기준과 LLM 기반 판별 모델을 자동으로 생성해 에이전트의 품질을 정량적으로 평가한다. 고객 데이터 특성을 반영한 합성 데이터를 생성해 학습 성능을 강화하고, 마지막으로 다양한 최적화 기법을 탐색해 에이전트를 정교하게 다듬는다.

전체 프로세스가 자동으로 완료되면, 사용자는 원하는 품질과 비용 수준에 가장 적합한 결과물을 선택하면 된다. 이를 통해 도메인 특화 AI 에이전트를 빠르게 구축하고, 일관된 성능과 지능적인 응답을 구현할 수 있다.

데이터브릭스는 에이전트 브릭스의 산업별 주요 활용 사례로 정보 추출 에이전트, 지식 탐색 에이전트, 다중 에이전트 통합 관리, 맞춤형 LLM 에이전트 등을 제시했다.

이밖에도 데이터브릭스는 신규 모자이크 AI 기능을 새롭게 선보였다: 데이터브릭스는 이제 서버리스 GPU를 지원한다 사용자는 GPU 인프라를 직접 프로비저닝하거나 관리할 필요 없이, 모델 파인튜닝, 전통적인 머신러닝 또는 딥러닝 작업, 대형 언어모델 실험 등을 빠르게 수행할 수 있다.

AI 개발 프레임워크인 ‘MLflow 3.0’도 공개했다. MLflow 3.0은 머신러닝 모델과 생성형 AI 애플리케이션의 전체 수명주기를 통합 관리하는 플랫폼으로, 생성형 AI에 맞춰 완전히 새롭게 설계됐다. MLflow 3.0을 통해 사용자는 모든 플랫폼에서 호스팅되는 AI 에이전트를 모니터링하고 추적 및 최적화할 수 있으며, 통합된 프롬프트 관리, 품질 지표, 인적 피드백 및 LLM 기반 평가 기능을 활용해 다양한 환경에서 AI 에이전트의 성능을 시각화, 비교, 디버깅할 수 있다. MLflow 추적 및 평가 결과를 기존 데이터 레이크하우스와 통합할 수 있다.

알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “에이전트 브릭스는 데이터 기반의 AI 에이전트를 구축하고 배포하는 완전히 새로운 방식”이라며 “이제 기업은 아이디어 구상 단계에서부터 자사 데이터에 기반한 운영 수준의 AI를 신속하게 구현할 수 있게 됐다”고 말했다.

그는 “품질과 비용 간의 최적 균형을 직접 조정할 수 있으며, 별도의 수작업 튜닝이나 시행착오 없이 데이터브릭스가 제공하는 강력한 보안과 거버넌스 기능도 그대로 활용할 수 있다”며 “이는 엔터프라이즈 AI 에이전트를 실용적이면서도 강력하게 구현할 수 있는 결정적인 전환점이 될 것”이라고 밝혔다.

포스트그레스 기반 운영 데이터베이스 서비스 출시

데이터브릭스는 또한 포스트그레SQL 기업 네온 인수로 확보한 기술을 바탕으로 매니지드 운영 데이터베이스 서비스인 ‘레이크베이스(Lakebase)’ 공개 프리뷰를 발표했다.

레이크베이스는 포스트그레SQL 기반 서비스로, 데이터브릭스의 레이크하우스 플랫폼에 운영 데이터베이스를 통합한다. 데이터브릭스는 개발자로 하여금 멀티 클라우드 플랫폼에서 데이터 애플리케이션과 AI 에이전트 모두를 구축할 수 있다고 강조했다.

레이크베이스는 독립적인 확장을 위해 컴퓨팅과 스토리지를 분리했다. 클라우드 네이티브 아키텍처는 10밀리초 미만의 낮은 지연 시간, 1만 QPS의 높은 동시성, 높은 가용성의 트랜잭션 요구를 지원한다.

1초 이내에 실행하고 사용한 만큼만 비용을 지불하도록 서비스를 제공한다. 고유한 브랜칭 기능은 개발자 테스트와 에이전트 기반 개발을 모두 지원하는 카피온라이트(COW) 데이터베이스 복제본을 생성해 저위험 개발을 지원한다.

레이크베이스는 레이크하우스 테이블과 데이터를 자동으로 동기화한다. 모델 제공을 위한 온라인 피처 스토어도 제공하며, 데이터브릭스 앱 및 유니티 카탈로그와 통합됐다.

강화된 컴퓨팅 인프라와 암호화된 저장 데이터를 기반으로 하며, 고가용성 및 특정 시점 복구를 지원하고 네트워크 보안부터 규정 준수까기 엔터프라이즈 기능과 통합된다.

알리 고드시 CEO는 “지난 몇 년간 데이터브릭스 데이터 인텔리전스 플랫폼을 통해 기업들이 자사 소유 데이터를 기반으로 추론할 수 있는 AI 앱과 에이전트를 구축하도록 지원해왔다”며 ‘이제 Lakebase를 통해 데이터베이스 시장에 새로운 카테고리를 개척하고 있다”고 강조했다.

그는 “AI 에이전트가 기업 운영 방식을 혁신함에 따라, 포춘 500대 기업들은 구식 시스템을 교체할 준비가 되어 있다”며 “레이크베이스를 통해 AI 시대의 요구에 맞춰 구축된 데이터베이스를 제공한다”고 덧붙였다.

노코드 ETL 구축 ‘레이크플로우 디자이너’ 공개

데이터브릭스는 비기술 사용자도 코드 개발 없이 손쉽게 데이터 파이프라인을 구축할 수 있는 새로운 노코드 ETL 기능 ‘레이크플로우 디자이너(Lakeflow Designer)’의 프리뷰 버전을 공개했다.

레이크플로우 디자이너는 직관적인 드래그 앤 드롭 방식의 시각적 인터페이스와 자연어 기반의 생성형 AI 도우미를 제공해, 기술적 전문 지식 없는 사용자도 운영 환경 수준의 데이터 파이프라인을 쉽게 설계하고 구축할 수 있도록 돕는다.

이 기능은 데이터브릭스의 통합 데이터 파이프라인 솔루션인 ‘레이크플로우(Lakeflow)’를 기반으로 한다. 레이크플로우는 데이터 엔지니어들이 모든 비즈니스 핵심 데이터를 활용해 신뢰할 수 있는 파이프라인을 더 빠르게 구축할 수 있도록 설계된 솔루션으로, 현재 정식 출시됐다.

레이크플로우 디자이너는 비즈니스 분석가들이 코드 없이 ETL 파이프라인을 구축할 수 있도록 지원한다. 자연어 명령과 드래그 앤 드롭 방식의 사용자 인터페이스를 통해, 데이터 엔지니어가 구축한 파이프라인과 동일한 수준의 확장성, 거버넌스, 유지관리성을 확보할 수 있다. 레이크플로우 디자이너는 레이크플로우, 유니티 카탈로그, 데이터브릭스 어시스턴트를 기반으로 설계됐다.

레이크플로우는 현재 정식 출시됐다. 데이터 수집부터 변환, 오케스트레이션에 이르는 통합 데이터 엔지니어링 솔루션을 제공한다. 선언형 파이프라인(Declarative Pipelines) 기능을 통해 데이터 엔지니어는 인프라를 직접 관리하지 않고도 SQL 또는 파이썬만으로 운영 수준의 엔드-투-엔드 파이프라인을 손쉽게 구축할 수 있다.

레이크플로우는 AI 기반 코드 작성, 디버깅, 유효성 검사를 지원하는 통합 개발 환경(IDE)을 새롭게 도입하여, 데이터 파이프라인 개발 속도를 대폭 향상시킨다. 레이크플로우 커넥트에 구글애널리틱스, 서비스나우, SQL서버, 셰어포인트, 포스트그레SQL, SFTP 등을 위한 포인트 앤 클릭 방식의 신규 인제스트(수집) 커넥터가 추가된다.

제로버스(Zerobus)는 메시지 버스 같은 별도의 인프라 없이도, 대규모 이벤트 데이터를 준 실시간 으로 레이크하우스에 직접 기록할 수 있게 해주는 서버리스 인프라다. 이 기능은 IoT 이벤트, 클릭스트림, 텔레메트리 등 이벤트 기반 워크로드에서 확장 가능한 고성능 처리를 가능하게 한다.

알리 고드시 CEO는 “고품질 데이터를 적시에 적절한 위치로 전달하는 것은 지능형 애플리케이션 개발을 앞당기는 핵심 요소”라며 “레이크플로우 디자이너는 조직 내 더 많은 사람들이 운영 수준의 데이터 파이프라인을 구축할 수 있도록 함으로써, 아이디어에서 실제 영향으로 이어지는 과정을 더욱 빠르게 만들 수 있도록 지원한다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network