Backend.AI + Intel Arc Pro B70:
더 큰 메모리로 완성하는 에이전틱 AI

에이전트형 AI 워크로드에서 카드의 실질 유용성을 결정하는 스펙은 메모리가 되었습니다. 추론 엔진이 이전 연산 결과를 재활용하기 위해 보관하는 KV 캐시(KV cache)는 컨텍스트 길이와 동시 요청 수에 비례해 커지는데, 코딩 에이전트는 긴 기본 컨텍스트를 여러 턴에 걸쳐 반복 참조하고 실제 서비스에서는 이런 에이전트 수십 개가 동시에 돌아갑니다. 메모리가 부족해지면 엔진은 캐시를 축출하고 재연산을 시작하며 처리량이 급격히 떨어집니다. 캐시를 GPU 밖으로 옮기는 오프로딩과 함께, 처음부터 메모리 용량이 큰 카드로 그 임계점 자체를 늦추는 것이 실질적인 해결책입니다.

Intel Arc Pro B70은 Xe2(배틀메이지) 아키텍처 기반의 워크스테이션 GPU로, 32GB GDDR6(ECC) 메모리와 608GB/s 대역폭, 230W 보드 전력 구성을 갖췄습니다. 모델 가중치를 올리고 남는 메모리가 KV 캐시를 수용하는 구조이므로, 메모리 여유가 큰 카드는 더 긴 컨텍스트와 더 많은 동시 요청을 축출 없이 버팁니다. 데이터센터를 빌리지 않고도 로컬 워크스테이션에서 긴 컨텍스트 에이전트를 프로토타이핑하면서, 프로덕션과 같은 모델 서빙 스택을 유지할 수 있는 위치의 제품입니다.

브리프에는 동급 워크스테이션 GPU와의 비교 벤치마크가 담겨 있습니다. vLLM 기반으로 입력 길이, 출력 길이, 동시 요청 수를 바꿔가며 세 가지 오픈 모델을 측정해, 에이전틱 부하가 깊어질수록 메모리 용량이 처리량 곡선을 어떻게 바꾸는지 보여줍니다. 측정 조건과 모델별 상세 결과, 워크로드별 판단 기준은 브리프 전문에서 확인해보세요.