퓨어스토리지, 멀티모달 AI 위한 새 스토리지 아키텍처 공개

메타데이터와 데이터노드 분리형 아키텍처 ‘플래시블레이드//EXA’

퓨어스토리지가 인공지능(AI)과 고성능 컴퓨팅(HPC) 워크로드의 데이터 성능을 극대화할 수 있는 새 스토리지 아키텍처 ‘플래시블래이드//EXA’를 12일 발표했다.

플래시블레이드//EXA는 플래시블레이드를 기반으로 한 검증된 아키텍처를 통해 메타데이터 병목현상을 극복하며, 대규모 AI 및 HPC 워크로드에서 흔히 발생하는 높은 동시성과 방대한 메타데이터 작업을 처리할 수 있도록 설계됐다.

초기 테스트 결과, 플래시블레이드//EXA는 단일 네임스페이스에서 초당 10테라바이트 이상의 읽기 성능을 제공할 것으로 예상된다.

플래시블레이드//EXA 아키텍처는 데이터와 메타데이터를 별도 노드로 분리했다. 메타데이터와 저장용량을 개별적으로 확장할 수 있다. 데이터 노드는 화이트박스 서버를 활용해 무제한에 가까운 확장성을 제공하고 다차원적인 성능을 지원한다. 표준 프로토콜과 네트워킹을 통해 배포, 관리 및 확장을 단순화하여 복잡성을 대폭 줄였다.

더 강력해진 GPU는 AI 모델 학습의 속도와 규모를 획기적으로 증가시켰다. 모델의 크기와 복잡성이 폭발적으로 성장함에 따라, 스토리지 솔루션도 AI 및 HPC의 연산 강도, 데이터의 양과 다양성에 원활히 대응해야 하는 새로운 패러다임 전환이 요구되고 있다.

퓨어스토리지는 기존 스토리지 시스템이 현대 AI의 요구에 적합하도록 설계되지 않았다고 설명한다. 대규모 AI 및 HPC 환경에서 기존 시스템은 병렬 및 동시 읽기/쓰기, 메타데이터 성능, 초저지연, 비동기 체크포인팅, 예측 가능한 고처리량 등에서 심각한 한계를 드러낸다는 것이다.

현대의 생성형 AI 학습 및 추론 인프라의 데이터 스토리지는 병렬파일시스템을 기반으로 구축되고 있다. 일반적인 병렬파일시스템 기반 외장형 스토리지는 컨트롤러가 메타데이터 관리와 데이터 서비스를 함께 수행하고 있다. 데이터 파일의 유형이 텍스트뿐 아니라 이미지, 오디오, 비디오 등으로 다양해지고, AI 모델이 멀티모달리티 처리를 요구하면서 데이터 스토리지 계층에서 병목현상을 초래한다.

병목 현상은 대표적으로 2가지 상황에서 발생한다. AI 학습과 추론용 데이터의 크기는 매우 다양하다. 수억개에 달하기도 하는 상황에서 작은 크기의 파일들을 대규모로 요청할 때 조회 시간을 지연시킬 수 있다. 또한 비디오 파일처럼 대용량인 경우 서버로 데이터를 서비스하는 시간이 지연되고, 그동안 GPU는 연산을 멈추게 된다.

마크 조빈스 퓨어스토리지 아시아 태평양 및 일본 지역 최고기술책임자(CTO)는 12일 퓨어스토리지코리아가 개최한 기자간담회에서 “전통적인 병렬 파일시스템의 아키텍처는 고성능이긴 하지만 메타데이터와 데이터 계층이 긴밀하게 연결돼 있어 관리하기 복잡하고 성능 향상을 위해 여러 부분을 한번에 확장해야 한다”며 “플래시블레이드//EXA는 병렬 파일시스템과 기존 스토리지의 장점을 결합하면서 컴퓨트, 데이터, 메타데이터 등을 분리해 각각 확장하도록 한다”고 설명했다.

퓨어스토리지는 메타데이터 데이터베이스만 별도로 관리하는 데이터 스토리지 계층을 고안했다. 이렇게 메타데이터와 데이터 서비스를 따로 분리하면 여러 노드에서 대량의 메타데이터 요청을 효율적으로 처리할 수 있게 된다. 지속적인 메타데이터 최적화로 인한 성능저하도 방지할 수 있다.

플래시블레이드//EXA에서 메타데이터코어라 불리는 메타데이터 관리계층은 분산형으로 만들어지며 메타데이터 사본 간 동기화를 보장한다. 성능을 유지하면서 복잡한 파일시스템 작업을 최적화할 수 있고, 데이터 급증에도 고성능을 유지할 수 있다.

이를 통해 기업은 변화하는 멀티 모달 모델에 적응하고, 신뢰성을 최적화하며, GPU 활용도를 높이는 동시에 AI 모델 학습과 추론 속도를 가속화하고 대기 시간을 제거할 수 있다. 퓨어스토리지의 메타데이터 엔진과 퓨리티 운영체제를 비용 효율적인 상용 데이터 노드와 결합함으로써 높은 가격 대비 성능 비율을 달성할 수 있다.

대규모 병렬 처리와 확장 가능한 메타데이터 IOPS를 통해 고속 AI 요구를 지원하며, 단일 네임스페이스에서 초당 10테라바이트 이상의 성능을 제공한다. 대규모 AI 데이터세트를 수동 조정이나 추가 구성 없이 처리할 수 있도록 높은 메타데이터 성능, 가용성, 복원력을 제공한다.

고도로 구성 가능하고 분산된 아키텍처를 통해 진화하는 AI 및 HPC 환경을 지원하며, 업계 표준 프로토콜을 활용해 유연성과 확장성을 극대화한다. 고속 엔비디아 커넥트X NIC, 스펙트럼 스위치, 링크X 케이블, 그리고 가속화된 통신 라이브러리를 통합해 제공한다.

마크 조빈스 CTO는 “단일 네임스페이스에서 읽기 성능은 10TBps 이상이고, 랙당 3.4 TBps 성능을 낼 수 있으며, 단일 네임스페이스에서 관리 가능한 파일 수는 동종 시스템 대비 20배 이상”이라고 밝혔다.

플래시블레이드//EXA의 아키텍처를 보면 컴퓨트 클러스터와 메타데이터코어, 데이터 노드 등이 네트워크를 통해 연결된다. 컴퓨트 클러스터와 메타데이터코어는 ‘NFSv4.1 over TCP(pNFS)’로 연결된다. 데이터노드는 ‘NFSv3 over RDMA’로 컴퓨트 클러스터와 따로 연결돼 있으며, 메타데이터코어와 데이터노드가 네트워크와 컨트롤러로 통신한다.

좀더 구체적으로 메타데이터코어는 확장형 분산 키밸류 데이터베이스에 메타데이터를 저장하고, 로그 구조 메타데이터엔진과 퓨어스토리지 다이렉트플래시모듈(DFM) 및 NVRAM을 내장한다.

데이터 노드는 업계 표준 x86 칩 기반 서버에 플래시 드라이브를 대량으로 장착하게 된다. 화이트박스나 여러 서버 업체의 하드웨어를 활용할 수 있으며, 퓨어스토리지는 자사의 고용량 DFM을 24개 장착할 수 있는 고집적 데이터노드 모델을 올해 중 출시할 계획이다.

각 요소를 연결하는 네트워크는 엔비디아 네트워킹 인터페이스 카드나 표준 이더넷 네트워킹 프로토콜로 연결된다. 플래시블레이드//EXA는 BGP를 사용해 메타데이터, 데이터 및 워크로드 클라이언트 간의 트래픽을 라우팅하고 관리하는 고가용성 단일 코어 네트워크를 활용하는 접근 방식을 사용한다.

마크 조빈스 CTO는 “퓨리티//FB OS는 플래시블레이드//EXA를 위해 pNFS로 최적화됐다”며 “완벽한 분산 아키텍처로서, 퓨어스토리지의 에버그린 기술을 통해 기존 플래시블레이드 이용자도 새 기술의 이점을 바로 누릴 수 있다”고 밝혔다.

플래시블레이드//EXA의 공략 시장은 AI 및 HPC 전문 조직이다. 엔터프라이즈 AI 고객은 RAG, 추론, 데이터레이크, 머신러닝 등의 워크로드를 위해 50~100TB 규모 데이터를 1000개 이하 GPU 클러스터로100GBps~1TBps 급 성능을 요구한다. 하이퍼스케일러는 초대형 학습 및 추론 인프라를 운영하며 수십 수백 엑사바이트급 데이터를 수만개 GPU로 50TBps 이상의 데이터 성능을 요구한다.

마크 조빈스 CTO는 “AI 네이티브 기업, GPU 클라우드 서비스 제공기업, HPC 연구소 등 AI 팩토리 영역의 고객은 100페타바이트에서 엑사바이트 규모의 데이터를 1000~1000개 GPU 클러스터로 학습 및 추론하는 AI 인프라 환경을 활용하며, 이들은 1~50 TBps 급 데이터 성능을 요구한다”며 “엔터프라이즈 AI와 하이퍼스케일러 사이에 존재하는 이들 AI 팩토리 고객에 플래시블레이드//EXA가 최적의 솔루션”이라고 강조했다.

그는”한국은 AI 도입을 선도하는 국가이며, AI 및 HPC 분야에서 많은 흥미로운 활용 사례를 보여주고 있다”며 “플래시블레이드//EXA는 대규모 AI 및 HPC 프로젝트를 수행하면서 기존 스토리지 시스템의 메타데이터 및 성능 병목 현상에 직면했던 한국의 조직에게 완벽한 솔루션”이라고 덧붙였다.

퓨어스토리지는 이달 중 고객 대상 베타테스트를 진행하고 여름중 정식으로 플래시블레이드//EXA 제품을 출시한다. 플래시블레이드//EXA 로드맵으로 향후 RDMA를 통한 아마존 S3 프로토콜을 지원하고 엔비디아 인증을 마무리한다는 계획이다. 오케스트레이션 솔루션인 퓨어스토리지 퓨전과 통합도 예정됐다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network