스토리지를 이해하는 플랫폼
어떤 스토리지든, 하나의 인터페이스로
Backend.AI의 Storage Proxy는 컨테이너와 스토리지 간 I/O를 최적화하고, 다양한 스토리지 백엔드를 단일 인터페이스로 추상화하여 가상폴더(VFolder)의 형태로 제공합니다. NVIDIA GPUDirect Storage로 스토리지에서 GPU 메모리로 데이터를 직접 전송하여, I/O 병목을 근본적으로 해소합니다.
The problem
GPU 성능, 스토리지 병목에 막혀 있지 않나요?
GPU 성능은 매년 2배씩 향상되고 있지만, 스토리지 I/O 대역폭은 그 속도를 따라가지 못합니다.
GPU 유휴 비용
I/O 병목으로 GPU가 데이터를 기다리는 동안에도 시간당 비용은 계속 소모되고 있습니다. 스토리지의 지연이 쌓이면 투자 대비 실제 연산 효율이 저하될 수 있습니다.
CPU 경유 병목
CPU를 경유하는 비효율적인 데이터 흐름이 고성능 AI 워크로드 처리속도를 저하시키는 병목이 될 수 있습니다.
스토리지 파편화
조직마다 VAST, PureStorage, WEKA, NetApp 등 다양한 상용/오픈소스 스토리지를 운영하는데, 플랫폼이 특정 스토리지만 지원하면 사일로가 발생합니다.
스토리지도 설계의 중심으로
데이터가 흐르는 길을 따로 만들었습니다
Backend.AI는 Control Plane(관리), Compute Plane(연산), Storage Plane(I/O)을 명확히 분리한 3-Plane 아키텍처로 설계되었습니다. Storage Proxy가 물리적 스토리지의 종류와 위치를 투명하게 추상화하고, 컨테이너와 스토리지 사이의 I/O를 최적화합니다. 또한, Random UUID 기반 네임스페이스로 테넌트 간 데이터 격리도 보장합니다.
NVIDIA GPUDirect Storage
CPU를 건너뛰고, 스토리지에서 GPU로 직접
NVIDIA Magnum IO GPUDirect Storage를 컨테이너 환경에서 세계 최초로 지원합니다.
기존 I/O 경로
NVIDIA GPUDirect Storage 경로
Benchmark
NVIDIA GPUDirect Storage + Dell PowerScale
NVIDIA GPUDirect Storage를 지원하는 스토리지 시스템과 이를 지원하는 운영 소프트웨어를 함께 사용하면 스토리지 I/O 성능을 가속할 수 있습니다. Dell PowerScale은 NVIDIA GPUDirect Storage를 지원하는 솔루션으로, Backend.AI와 함께 활용했을 때 최상의 성능을 경험할 수 있습니다.
Dell PowerScale 사례 보기→I/O 성능 비교 (GDS 적용 전 vs 후)
가까울수록 빠릅니다
NUMA 인식 스케줄링
멀티소켓 서버에서는 CPU 소켓마다 로컬 메모리 영역이 다릅니다(NUMA). GPU가 리모트 메모리에 접근하면 로컬 메모리 대비 지연시간이 크게 증가합니다.
Backend.AI의 Sokovan 스케줄러는 NUMA 토폴로지를 인식하여, GPU와 동일한 NUMA 노드의 메모리와 NIC를 사용하도록 워크로드를 배치합니다. RDMA와 InfiniBand 경로도 NUMA 토폴로지에 맞춰 최적화되어, 스토리지에서 GPU까지의 전체 데이터 경로에서 불필요한 원격 메모리 접근을 제거합니다.
Partnership
함께 만드는 더 빠른 데이터 경로
Backend.AI는 주요 스토리지 및 가속기 벤더와 파트너십을 맺고 AI 추론을 위한 전체 데이터 경로를 최적화합니다. 스토리지 하드웨어부터 GPU 레벨 I/O까지, 처리량을 극대화하고 지연시간을 최소화하는 솔루션을 공동 개발하고 있습니다.
VAST Data
2025년부터 VAST COSMOS 프로그램의 Technology Partner로 고객의 인퍼런스를 위해 KV cache offloading, VAST AI OS 통합 등 기술 협력을 진행하고 있습니다.
Dell Technologies
2024년부터 Dell Telecom AI self-certified partner로 Dell PowerScale을 비롯한 Dell의 제품군과 Backend.AI를 통합하여 고객에게 제공하기 위해 협업하고 있습니다.
PureStorage
2021년부터 Technology Alliance Partners로 FlashArray와 FlashBlade를 통합하여 고객을 위한 고성능 AI 학습 및 추론 스토리지를 제공합니다.
그 외 지원 스토리지
스토리지까지 통합된 AI 인프라를 경험하세요
기존 스토리지 환경에서 Backend.AI가 어떻게 I/O 병목을 해소하는지 데모를 통해 확인해 보세요.
