배스트 데이터, 래블업 Backend.AI와 통합
AI 운영 시스템 기업 배스트데이터는 개방형의·확장 가능한 AI 컴퓨팅 플랫폼 ‘Backend.AI’ 개발사 래블업과 협업을 21일 발표했다.
배스트데이터는 독자 AI 파운데이션 모델 개발 컨소시엄에 참여중인 래블업과 함께 국내 인프라에서 대규모언어모델(LLM)을 학습·배포할 수 있는 고성능·확장형 데이터 기반을 공동 구축했다.
Backend.AI는 GPU 및 CPU 자원을 아우르는 AI 모델 학습, 배포, 추론 환경을 통합적으로 제공한다. Backend.AI와 배스트 AI 운영체제가 통합돼 래블업과 그 고객은 학습 데이터, 모델 체크포인트, 다양한 아티팩트를 압도적인 처리량과 높은 복원력으로 관리할 수 있으며, 모델 개발부터 실시간 서비스에 이르기까지 끊김 없는 데이터 흐름을 확보할 수 있다.
래블업은 AI 워크로드가 커짐에 따라 기존의 전통적 스토리지 인프라로는 초거대 모델 학습에 필요한 처리량과 동시성을 지원하는 것이 어렵다고 판단했다. 이에 배스트 데이터를 선택해 데이터 레이어를 현대화하고, 멀티 테넌트 연구 환경에서 요구되는 신뢰성과 통제력을 유지하면서 성능 병목을 제거했다.
SK텔레콤의 소버린 AI 클러스터에서 구동되는 Backend.AI와 배스트 AI OS 통합 환경은 고성능 GPU 전반에 걸쳐 모델 학습을 자동화·가속화하며, 국내 다양한 연구 기관에 훈련 및 향후 추론까지 아우르는 통합형 AI 컴퓨팅 환경을 제공한다.
배스트 AI OS와의 다이렉트 통합을 통해 Backend.AI는 대규모 학습 워크로드를 위한 고처리량 데이터 액세스를 원활하게 제공한다. 배스트의 분리형 공유(DASE) 아키텍처를 기반으로 래블업은 컴퓨팅 환경과 스토리지를 독립적으로 확장함과 동시에 단일 글로벌 네임스페이스인 ‘배스트 데이터스페이스(VAST DataSpace)’를 통해 연구자들이 체크포인트, 데이터셋, 모델 출력을 프로젝트 간 빠르게 공유할 수 있도록 한다.
소버린 AI 전략을 뒷받침하는 배스트 AI 운영체제는 Backend.AI를 통해 대규모 모델 학습부터 실시간 오케스트레이션을 아우른다. 소버린 AI는 데이터 인프라에서 시작해 인프라로 완성된다. 배스트 데이터스페이스와 AI OS의 제로트러스트 아키텍처를 통해 소버린 AI 환경 전반에서 데이터 레지던시, 접근 통제, 규제 준수 요구사항을 충족한다. 정부, 연구기관, 규제 대상 기업들은 AI 라이프사이클 전반에 걸쳐 데이터가 어디에 위치하는지뿐 아니라 어떻게 보호·관리·감사되는지까지 보장할 수 있다.
Backend.AI는 배스트 데이터스토어와 통합돼 RDMA 및 GPU-직접 데이터 경로를 통해 고성능 학습 데이터셋과 모델 아티팩트에 고처리량으로 접근한다. 이는 CPU 병목을 없애고 SK텔레콤 소버린 AI 클러스터 내 모든 GPU에서 일관된 성능을 확보해 국가 규모의 모델 사전-트레이닝과 파인 튜닝을 가속한다.
배스트의 DASE 아키텍처 기반으로 하는 Backend.AI는 모델 학습·검증·배포 전 과정에 걸쳐 단일 네임스페이스를 제공한다. 연구자들은 체크포인트, 데이터셋, 아웃풋을 중복 및 지연 없이 즉시 공유할 수 있어 국가 컨소시엄 내부 협업을 대폭 간소화할 수 있다.
래블업은 배스트 데이터엔진과 데이터스페이스를 활용해 공유 GPU 클러스터 전체의 데이터·연산 관리 환경을 통합한다. 배스트의 쿼터 모델과 Backend.AI의 사용자 기반 접근 제어의 긴밀한 통합으로 테넌트 간 격리와 일관적 성능을 보장한다. 정부·학계·기업 등 사용자 각각은 연산능력과 스토리지를 독립적으로 확장하는 동시에 안정적이고 예측 가능한 서비스 품질을 누릴 수 있다.
소버린 AI 프로젝트가 학습 단계에서 서비스 단계로 확장됨에 따라 Backend.AI와 배스트 AI OS의 통합은 차세대 추론 및 에이전틱 AI 워크로드 기반을 제공한다. 배스트 데이터엔진은 대규모 데이터셋을 대상으로 실시간 오케스트레이션과 추론을 가능하게 하며, 이를 통해 래블업 고객들은 고정형 모델 학습을 넘어 지속적으로 학습·적응·서비스하는 지능형 시스템으로 나아갈 수 있다.
배스트 AI OS는 래블업 자체 인프라에 대해서도 AI 인프라 개발, 최적화 테스트, 모델 서비스 오케스트레이션을 지원한다. 이를 통해 엔지니어들은 새로운 AI 모델을 더욱 효율적으로 테스트·배포할 수 있으며, 실시간으로 모델 웨이트를 교체하는 동시에 다운타임 없이 운영이 가능하다. 양사는 초기 단계에서의 지연(latency) 문제를 공동 엔지니어링을 통해 해결했으며, 그 결과 학습과 연구 운영을 위한 안정적이고 고처리량의 확장 가능한 시스템이 구축됐다.
업스테이지가 주도하고 국내 주요 연구 기관이 참여하는 한국형 파운데이션 모델 컨소시엄 내에서 Backend.AI와 배스트 AI 운영체제는 초거대규모의 데이터를 처리해 대형의 사전 트레이닝과 파인 튜닝을 수행하며 국내 AI 개발 역량을 한 단계 끌어올리고 있다.
배스트 데이터 공동 창업자이자 CTO인 알론 호레브는 “래블업과의 협업으로 확장을 고려해 설계된 현대적 AI 인프라의 실질적인 형태를 구현할 수 있게 됐다”며 “GPU 집약적 환경이나 소버린 AI를 고려하지 않은 기존 레거시 스택은 이러한 요구를 수용하기 어렵다”고 설명했다.
그는 “배스트 AI OS를 통해 컴퓨트 오케스트레이션과 데이터 인텔리전스를 통합함으로써 병목을 제거하고 한국과 같이 국가가 AI 혁신을 스스로 소유하고, 통제하는 한편 가속할 수 있는 단일 패브릭을 구축했다”며 “Backend.AI와 배스트데이터의 조합은 엔터프라이즈와 연구기관이 유연성·효율성·신뢰성을 모두 갖춘 새로운 고성능 AI 인프라의 청사진을 제시한다”고 강조했다.
신정규 래블업 최고경영자(CEO)는 “래블업은 개방적이고 효율적이며 확장 가능한 기술을 통해 AI 인프라를 민주화하는데 노력해 왔다”며 “Backend.AI 환경에 배스트의 AI 운영체제를 통합함으로써 개발자와 기업은 현대적인 AI가 요구하는 신뢰성과 고성능을 유지하면서도 대규모 데이터셋과 복잡한 워크로드를 처리할 수 있게 됐다”고 밝혔다.
그는 “AI 컴퓨팅 역량을 극대화함과 동시에 주권성과 데이터 보안을 보장하는 기술적 시너지를 입증한 사례”라고 덧붙였다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
