Backend.AI®의 강력한 인프라 관리 능력에 Tenstorrent Wormhole™ AI 가속기의 성능을 더하다.

현대의 AI 워크로드는 대규모 병렬 처리와 높은 메모리 대역폭, 낮은 지연 시간을 동시에 요구하고, AI 전용 칩은 이 요구를 설계 단계에서 반영해 만들어집니다. 다만 가속기가 지닌 가치를 온전히 끌어내려면 그 위의 운영 계층이 함께 갖춰져야 합니다. 리소스를 동적으로 할당해 활용률을 끌어올리고, 리소스 경합을 막고, 여러 사용자와 프로젝트 사이의 공정한 스케줄링을 보장하는 일은 하드웨어가 아니라 오케스트레이션 소프트웨어의 몫입니다.

Tenstorrent Wormhole은 고성능 Tensix Core 기반의 PCIe 카드형 AI 가속기입니다. 각 카드는 연산 유닛과 네트워크 온 칩(Network-on-Chip), 로컬 캐시, RISC-V 코어를 통합해 칩 내부에서 효율적인 데이터 이동을 구현하고, n150s와 n300s 두 가지 모델로 제공됩니다. Backend.AI의 Sokovan 오케스트레이터는 가속기 할당과 스토리지 마운트, 네트워크 연결을 스케줄링 단계에서 처리하므로, 온프레미스와 폐쇄망 환경에서도 별도 구성 작업 없이 학습과 추론 서빙을 이어서 운영할 수 있습니다.

브리프에는 Wormhole LoudBox 환경에서 Llama 3.1 8B 모델로 수행한 성능 벤치마크가 담겨 있습니다. 실시간 챗봇과 어시스턴트, RAG 기반 질의응답, 장문 콘텐츠 생성의 세 가지 활용 시나리오별로 측정 결과와 권장 구성을 정리해, 워크로드 특성에 맞는 운영 설계 기준을 제시합니다. 측정 조건과 시나리오별 권장 구성은 브리프 전문에서 확인해보세요.