에버퓨어, AI 스토리지 성능 1위

스토리지 및 데이터 관리 기업 에버퓨어(옛 퓨어스토리지)는 2일 인공지능(AI)용 고성능 분산형 파일 스토리지 제품인 플래시블레이드//EXA가 최근 공개된 엠엘퍼프 스토리지 v3.0 벤치마크에서 405B 및 1.25T 매개변수 모델의 체크포인팅과 KV 캐시 성능 전 부문 1위를 기록했다고 밝혔다.

학습 작업에서는 체크포인트 저장이 필요하고, 추론 워크로드에서는 KV 캐시 데이터 검색이 요구된다. 스토리지 처리 속도가 데이터 처리 속도를 따라가지 못하면 그래픽처리장치(GPU)와 가속기가 대기 상태에 놓이면서 비용 증가로 이어질 수 있다.

체크포인팅 성능 측정은 가속기 1024개를 시뮬레이션한 환경에서 진행됐다. 플래시블레이드//EXA는 데이터 노드 30개를 활용해 1.25T 매개변수 모델에서 877.52GiB/s 쓰기 대역폭을 기록했다. 소요 시간은 17.74초였다. 읽기 대역폭은 588.28GiB/s였으며 28.99초가 걸렸다.

데이터 노드 수를 10개에서 30개로 늘리면서 쓰기 처리량은 327.65GiB/s에서 877.52GiB/s로 증가했다. 에버퓨어는 이런 확장 결과를 바탕으로 AI 워크로드 규모 변화에 따라 스토리지 용량과 성능도 함께 확대할 수 있다고 설명했다.

AI 추론 환경에서는 대규모 모델을 서비스하는 과정에서 KV 캐시가 데이터 경로에서 차지하는 비중이 커지고 있다. MLPerf 스토리지 테스트에서 플래시블레이드//EXA는 Llama 3.1 8B 워크로드에서 스토리지만 사용한 구성으로 초당 8만5736토큰을 처리했다.

스토리지와 메모리를 함께 사용한 8B 워크로드에서는 초당 6만7642토큰을 기록했다. 스토리지만 사용한 70B 워크로드에서는 초당 3만3403토큰을 처리했다.

벤치마크에는 메타데이터 관리와 데이터 전송을 분리한 분산형 아키텍처가 적용됐다. 플래시블레이드//EXA 블레이드 30개에는 메타데이터 전용 다이렉트플래시 모듈 120개가 탑재됐다. Linux/NVMe 데이터 노드 30개와 연동해 통합 파일 시스템에서 약 866TB의 가용 용량을 제공하는 구성이다.

파일 레이아웃 협상에는 TCP 기반 NFSv4.1/pNFS가 사용됐다. 고속 데이터 전송에는 RoCEv2 기반 RDMA를 활용한 NFSv3가 적용됐다. 이에 따라 데이터가 중앙 집중식 스토리지 경로를 거치지 않고 네트워크 패브릭을 통해 이동할 수 있도록 구성했다.

에버퓨어는 AI 클러스터 규모가 커질수록 컴퓨팅 환경 변화에 맞춰 용량과 성능을 함께 확장할 수 있는 스토리지 아키텍처가 필요하다며, 특정 구성에서 높은 성능을 내는 방식보다 AI 환경 변화에 맞춰 인프라를 확장하고 엔지니어링 과정의 복잡성을 줄이는 방향이 중요하다는 입장이다.

이 같은 방향은 에버퓨어가 기존 스토리지 어레이에서 엔터프라이즈 데이터 클라우드로 확장하고 있는 전략과도 연결된다. 엔터프라이즈 데이터 클라우드는 소프트웨어 기반 방식으로 기업의 데이터 관리와 활용을 지원한다.

에버퓨어는 AI 인프라 역시 GPU, 네트워크, 스토리지, 데이터가 서로 연결된 구조로 봐야 한다고 설명했다. 이어 각 구성 요소의 성능뿐 아니라 요소 간 데이터 이동과 연계가 전체 시스템 성능에 영향을 미치는 만큼, 데이터 이동 성능을 예측 가능한 수준으로 확장하는 역량도 최고 성능 수치만큼 중요하다고 덧붙였다.

롭 리(Rob Lee) 에버퓨어 최고 기술 및 성장 책임자(CTO)는 “이번 결과는 플래시블레이드//EXA가 AI 워크로드의 갈수록 높아지는 요구 사항에 대응하며 업계 최고 수준의 성능과 확장성을 제공한다는 사실을 다시 한번 입증한다”며 “최첨단 AI 개발을 추진하는 조직은 안정성과 운영의 간소성을 포기하지 않으면서 최고의 성능과 확장성을 제공하는 인프라가 필요하다. 플래시블레이드//EXA는 이 모든 요건을 독보적으로 충족한다”고 말했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network