Backend.AI + Intel Gaudi 3:
벤치마크와 심층 통합
Backend.AI와 Intel Gaudi 3 AI 가속기 성능에 관한 종합 백서
Backend.AI와 Intel Gaudi 3가 소형 및 대형 언어모델 추론 워크로드에서 뛰어난 성능을 제공하는 상세한 벤치마크를 담은 종합 백서입니다. Backend.AI와 Intel Gaudi 3가 결합되었을 때 보여주는 성능과 최적화를 위한 다양한 방법들을 확인해보세요.
GPU 클라우드(NeoCloud)를 위한 Gaudi 3 인프라 운영
이 백서는 영문으로 제공됩니다.
Intel Gaudi 3는 5nm 공정 기반의 AI 가속기로, MME 8개와 TPC 64개, 128GB HBM2e 메모리와 3.7TB/s 메모리 대역폭을 갖추고 OAM과 PCIe 두 가지 폼팩터로 제공됩니다. Backend.AI는 카드 단위 가속기 할당, NUMA 인지 자원 스케줄링, 외부 스토리지 연동, 사용자별 쿼터 관리로 Gaudi 3 클러스터를 멀티테넌트 환경으로 운영합니다. 단일 카드 추론 세션과 멀티 노드 분산 학습 작업이 같은 스케줄러 위에서 배치되므로, 워크로드 규모가 달라져도 운영 방법이 달라지지 않습니다.
백서에는 Llama 3.1 8B와 70B 모델로 수행한 벤치마크가 담겨 있습니다. 소형·대형 모델 각각의 측정 결과와 함께 배포 권장 구성과 최적화 전략을 정리해, 워크로드 규모에 맞는 운영 기준을 제시합니다. 측정 조건과 모델별 상세 결과는 백서 전문에서 확인해보세요.
리소스 다운로드
아래 양식을 작성해 주세요.
관련 서비스
Backend.AI는 자체 개발한 오케스트레이션 및 작업 스케줄러를 기반으로 하는 벤더 중립적 가속 워크로드 호스팅 플랫폼으로, 클라우드 또는 온프레미스(에어갭) 클러스터 위에서 실행됩니다.
서비스 살펴보기 →
