데이터브릭스, 유니티 카탈로그서 아이스버그 전면 지원

데이터브릭스는 유니티 카탈로그에서 아파치 아이스버그 테이블을 전면적으로 지원한다고 23일 밝혔다.

데이터브릭스는 유니티 카탈로그를 비즈니스 사용자에게 확장하는 두 가지 신규 기능도 발표했다. 기업 운영의 핵심인 비즈니스 지표와 KPI를 이제 유니티 카탈로그 매트릭스를 통해 일급 데이터 자산으로 정의할 수 있게 됐다. 비즈니스 사용자를 위해 새로운 큐레이션 기반 내부 마켓 플레이스가 도입됐다. 이는 비즈니스 도메인별로 구성된 가치 높은 데이터, AI 및 AI/BI 자산을 손쉽게 탐색할 수 있도록 지원한다.

유니티 카탈로그는 개방형 표준을 기반으로 구축돼 모든 테이블 형식과 엔진에서 원활하게 작동하도록 설계됐다. 데이터브릭스는 아파치 아이스버그에 대한 전체적인 지원을 퍼블릭 프리뷰 형태로 제공하며, 아파치 아이스버그와 델타레이크 생태계를 통합해 단일한 거버넌스 접근 방식을 제공한다.

프리뷰에 세 가지 주요 기능이 포함되었다. 기업은 유니티 카탈로그의 아이스버그 REST 카탈로그 API를 통해 어떤 아파치 아이스버그 호환 엔진에서든 읽고 쓸 수 있는 관리 테이블을 만들 수 있다. 이러한 테이블은 유니티 카탈로그의 모든 기능을 활용할 수 있으며, AI 기반 예측 최적화를 통한 비용 대비 최고의 성능을 제공하고, 데이터브릭스 내부 및 트리노, 스노우플레이크, 아마존 EMR 등의 외부 엔진에까지 걸친 통합 거버넌스 및 정책 적용을 지원한다.

유니티 카탈로그의 레이크하우스 페더레이션 기능을 통해 외부 카탈로그에서 관리되는 아이스버그 테이블에 원활하게 접근할 수 있으며, 이 테이블들을 네이티브 테이블과 함께 탐색하고 거버넌스 적용이 가능하다.

아이스버그 테이블은 델타셰어링 생태계의 모든 이점을 누릴 수 있으며, 조직 간 안전하고 매끄러운 공유가 가능하다. 이러한 기능은 데이터 형식에 의해 발생하는 사일로를 제거한다.

유니티 카탈로그 매트릭스는 기존 BI 도구에 내재되어 있던 비즈니스 지표 정의를 데이터 플랫폼으로 통합한다. 이를 통해, 조직 내 모든 구성원이 비즈니스 성과를 일관되고 정확하게 해석할 수 있는 기반이 마련된다. 기존의 폐쇄적인 BI 의미 계층과 달리, 유니티 카탈로그 매트릭스는 SQL을 통해 직접 접근할 수 있어, 조직 내 누구나 선택한 도구에 관계없이 동일한 기준으로 지표를 확인하고 분석할 수 있다. 유니티 카탈로그 매트릭스는 모든 고객에게 퍼블릭 프리뷰 형태로 제공되고 있으며, 오는 여름 정식으로 출시될 예정이다.

데이터브릭스는 비즈니스 사용자가 신뢰할 수 있는 데이터를 실제로 활용할 수 있도록 직관적인 탐색 경험과 내장형 인텔리전스를 결합한 새로운 기능을 선보였다. 새로운 디스커버 환경은 영업, 마케팅, 재무 등 비즈니스 도메인별로 정리한 내부 마켓플레이스로 제공된다. 각 자산에는 문서, 소유자 정보, 태그, 사용 현황 등 메타 데이터가 함께 제공되며, AI 기반 자동 추천 및 데이터 관리자용 큐레이션 도구를 통해, 지표, 대시보드, 테이블, AI 에이전트, 지니 공간 등 고가치 자산을 사용자가 별도 승인 절차나 엔지니어의 지원 없이 직접 탐색하고 신뢰할 수 있는 셀프 서브 방식으로 활용할 수 있다. 유니티 카탈로그 디스커버는 현재 프라이빗 프리뷰 형태로 제공된다.

마테이 자하리아 데이터브릭스 공동창립자 겸 CTO는 “데이터브릭스는 4년 전 유니티 카탈로그로 통합 거버넌스라는 카테고리를 선보였다”며 “이번 업데이트를 통해 우리는 아파치 아이스버그 및 모든 개방형 테이블 형식에 대해 업계 최고의 카탈로그를 제공하며, 외부 엔진에서도 관리 테이블을 자유롭게 읽고 쓸 수 있는 유일한 플랫폼이 됐다”고 강조했다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network