분산된 LLM 사용 기준을
하나로 모아 관리하는 Continuum Hub
Continuum의 아키텍처와 거버넌스 기능, 도입 판단 기준
조직 내 LLM 사용 팀과 사이트가 늘어나면 정책, API 키, 비용 정보가 여러 시스템으로 분산됩니다. 반대로 모든 요청을 단일 중앙 게이트웨이로 집중하면 게이트웨이가 전체 추론 트래픽의 단일 장애 지점이 됩니다. Continuum은 추론 요청을 처리하는 Continuum Router와 정책·비용을 중앙에서 관리하는 Continuum Hub로 두 경로를 분리합니다. 관리 플레인(Control Plane) 장애가 요청 경로로 전파되지 않는 구조, 외부 LLM API와 Backend.AI 추론 엔드포인트를 단일 거버넌스 기준으로 통합 운영하는 방법, 도입 판단 기준을 알아보세요.
어떤 조직을 위한 문서인가요?
Continuum Hub는 여러 팀, 사이트, 클라우드에 걸쳐 외부 LLM API와 자체 호스팅 모델을 함께 운영하는 조직을 위해 설계되었습니다. 중앙 플랫폼 팀이 사용자·워크로드별 모델 접근 정책을 관리하는 환경, 팀·프로젝트·고객 단위로 비용을 귀속하고 예산을 통제해야 하는 환경, 정책 변경을 단계적으로 배포하며 변경 이력을 감사 가능한 형태로 보존해야 하는 환경, 프롬프트와 응답 본문을 저장하지 않으면서 서비스 상태와 비용을 파악해야 하는 폐쇄망·규제 환경까지 Continuum Hub의 장점을 누릴 수 있습니다.
Continuum Hub는 정책 관리, 정책 배포, 비용 모니터링 및 정산, 메타데이터 기반 관측성을 단일 관리 플레인에서 제공합니다. LiteLLM과 같은 중앙 프록시 방식과의 운영 구조 비교, 도입 검증 순서, 규모 구간별 권장 사양을 솔루션 브리프 전문을 통해 확인해보세요.
리소스 다운로드
아래 양식을 작성해 주세요.
관련 서비스
Backend.AI는 자체 개발한 오케스트레이션 및 작업 스케줄러를 기반으로 하는 벤더 중립적 가속 워크로드 호스팅 플랫폼으로, 클라우드 또는 온프레미스(에어갭) 클러스터 위에서 실행됩니다.
서비스 살펴보기 →