모델과 사용자 데이터를
호스트로부터 보호하는
Backend.AI Confidential AI
기밀 컴퓨팅(Confidential Computing) 아키텍처와 Intel 연동, 로드맵
Backend.AI Confidential AI는 각 기밀 워크로드를 하드웨어로 보호되는 신뢰 도메인(Trust Domain)에서 실행해, GPU 서버 관리자나 하이퍼바이저(Hypervisor)가 모델 가중치와 사용자의 프롬프트·응답을 읽을 수 없도록 합니다. 직접 운영하는 키 브로커(Key Broker)가 하드웨어 증명(Attestation) 결과를 확인한 뒤에만 모델 키를 발급합니다. 오픈소스 Confidential Containers 위에서 쿠버네티스(Kubernetes) 없이 기밀 모델 서비스를 배포하는 구조, Intel Trust Authority 연동 방식, 로드맵을 알아보세요.
어떤 조직을 위한 문서인가요?
이 문서는 영문으로 제공됩니다.
클라우드 사업자나 다른 기관이 운영하는 GPU 서버에서 자체 모델을 서빙하면서 모델 가중치와 사용자 데이터 보호 방안을 검토하는 보안팀과 AI 플랫폼 팀을 위한 문서입니다. 개인정보(PII)나 소스 코드가 담긴 프롬프트를 처리하는 모델 서비스를 외부 GPU 인프라에서 운영하는 조직에 특히 적합합니다. 운영자와의 계약에 의존하던 보호를 하드웨어 기반 증명으로 대체하려는 조직도 해당합니다. 기존 엔터프라이즈 키 관리 시스템이나 하드웨어 보안 모듈(HSM)로 모델 키를 관리하려는 조직에도 적용됩니다.
Backend.AI는 Kata Containers, CoCo 게스트 구성 요소, 키 브로커 Trustee 등 Confidential Containers(CoCo)의 표준 구성 요소를 그대로 사용합니다. 자체 스케줄러와 노드 에이전트가 기밀 워크로드를 베어메탈 서버에 직접 배치하므로, 일반 Backend.AI 모델 서비스와 같은 방식으로 기밀 모델을 배포할 수 있습니다. 현재 범위는 기밀 워크로드 하나에 NVIDIA GPU 한 장 전체를 할당하는 단일 노드 구성이며, 인터넷에 연결된 사이트를 대상으로 합니다. 로드맵에는 다중 GPU 기밀 서빙, 여러 노드에 걸친 기밀 세션, 기밀 스토리지, AMD SEV-SNP 지원이 포함되어 있습니다. 직접 운영하는 검증기와 Intel Trust Authority 구성의 비교, 기밀 워크로드 실행 예시를 문서 전문에서 확인해보세요.
관련 서비스
Backend.AI는 자체 개발한 오케스트레이션 및 작업 스케줄러를 기반으로 하는 벤더 중립적 가속 워크로드 호스팅 플랫폼으로, 클라우드 또는 온프레미스(에어갭) 클러스터 위에서 실행됩니다.
서비스 살펴보기 →