데이터브릭스, ‘레이크하우스 앱’ 출시…13억달러에 생성AI 스타트업도 인수

데이터브릭스가 견고한 보안 환경 내에서 네이티브 애플리케이션을 제작할 수 있도록 지원하는 ‘레이크하우스 앱(Lakehouse Apps)’를 출시했다. 네이티브 솔루션을 활용해 프레임워크 종속 없이 다양한 앱을 만들 수 있다는 설명이다. 또한 생성AI 스타트업 ‘모자이크ML(MosaicML)’을 인수키로 하고 AI 기술 협력을 통해 자사 솔루션의 고도화를 꾀하기로 했다.

데이터브릭스는 지난 26일부터 29일까지 미국 샌프란시스코에서 ‘데이터+AI 서밋’ 행사를 개최하고 이 같은 소식을 알렸다. 데이터브릭스에 따르면 레이크하우스 앱은 데이터브릭스 네이티브 서비스를 활용해 데이터 및 인공지능(AI) 앱을 채택, 통합·관리하는 데 드는 시간과 노력을 줄인다.

데이터브릭스에 따르면 현재 개발자들은 앱 개발과 제품 채택을 위해 앱의 기능을 제한하고, 주요 부분을 데이터 플랫폼 공급업체의 SQL 또는 독점 코드로 재구축하는 경우가 많다. 또 고객이 직접 설치 및 운영해야 하는 별도의 제품 버전을 개발하는 경우가 많지만 이러한 접근방식은 보안에 취약하고 확장성이 낮은 한계가 있다는 설명이다.

레이크하우스 앱은 고객의 데이터브릭스 인스턴스에서 직접 실행해 이러한 딜레마를 해소한다. 안전하면서도 성능 저하가 없는 네이티브 솔루션을 통해 데이터가 고객 인스턴스를 벗어나지 않고도 앱과 쉽고 안전하게 통합된다. 또한 개발자는 특정 프레임워크에 국한되지 않고 원하는 기술과 언어를 사용해 다양한 애플리케이션을 구축할 수 있다.

데이터브릭스는 자사 마켓플레이스에서 AI 모델 공유 기능을 추가로 제공할 예정이다. 데이터 소비자와 제공자가 AI 모델을 수익화하고, 자신의 데이터 솔루션에 통합할 수 있도록 지원한다. 해당 기능은 2024년 프리뷰로 공개될 예정이다. 아울러 명령어 추종과 요약과 같은 일반적인 사용사례 전반에 걸쳐 오픈소스 모델을 공개하고, 데이터브릭스 플랫폼에서 해당 모델의 튜닝과 배포를 최적화하는 작업을 진행하기로 했다.

마테이 자하리아(Matei Zaharia) 데이터브릭스 공동창업자 겸 최고기술책임자는 “레이크하우스 앱을 통해 소프트웨어 제공업체는 레이크하우스 내에서 다양한 앱을 안전하게 제공할 수 있게 됐다”며 “이는 데이터브릭스 고객과 소프트웨어 업체 모두에게 상당한 이점을 가져다줄 것”이라고 밝혔다.

한편 데이터브릭스는 생성AI 플랫폼 기업 모자이크ML을 약 13억달러(한화 약 1조7000억원)에 인수하는데 최종 합의했다. 대규모 언어 모델(LLM) ‘MPT-7B’로 잘 알려진 모자이크ML은 최근 새로운 버전인 MPT-30B를 선보이며 기업들이 자체 데이터를 활용해 비용 효율적인 방식으로 AI 모델을 신속하게 구축하고 학습하도록 지원하고 있다.

데이터브릭스는 레이크하우스 플랫폼에 모자이크ML의 기술을 결합해 데이터에 대한 제어, 보안 및 소유권을 효율적으로 유지할 수 있도록 지원할 방침이다. 모자이크ML의 모델 학습 자동 최적화 기술은 표준화된 접근 방식과 비교해 2배에서 7배 빠른 속도를 지원한다는 게 회사의 설명이다. 또한 확장성을 기반으로 수십억개의 매개변수를 가진 모델을 단 몇 시간 만에 학습시킬 수 있다. LLM을 훈련하고 사용하는데 드는 비용을 대폭 줄여줘 광범위한 AI 사용 사례를 만들어낼 것으로 양사는 기대하고 있다.

알리 고드시(Ali Ghodsi) 데이터브릭스 최고경영자(CEO)는 “데이터브릭스와 모자이크ML은 AI를 보편화하고, 레이크하우스를 생성형 AI 및 LLM 구축에 가장 이상적인 플랫폼으로 발전시키는데 시너지를 낼 수 있을 것”이라고 강조했다.

모자이크ML의 공동창립자 겸 CEO인 나빈 라오(Naveen Rao)는 “모자이크ML은 어려운 엔지니어링과 연구 문제를 해결해 누구나 대형 모델에 더욱 쉽게 접근할 수 있도록 하겠다는 목표로 시작했다”며 “최근 생성AI로 인한 변화의 파도 속에 이러한 미션은 더욱 중요해졌다. 앞으로 데이터브릭스와 함께 공통의 미션을 위한 여정을 계속해 나갈 것”이라고 말했다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network