backend.ai

지능형 오케스트레이션을 통해 엣지 컴퓨팅과 클라우드 컴퓨팅을 매끄럽게 통합하며, 강력한 AI 인프라를 구축하는 새로운 솔루션을 탐색합니다. 본 세션에서는 여덟 개의 NVIDIA Jetson Nano 노드로 구성된 클러스터가 Gemma 2 2B, Llama 3.2 3B를 포함한 여러 대형 언어 모델(LLM)을 어떻게 실행하며, 동시에 멀티모달 AI 에이전트를 지원하는지 시연합니다. 또한, 클라우드 GPU와의 통합을 유지하면서 분산된 AI 시스템이 텍스트, 이미지, 센서 데이터를 처리하고, 네트워크 장애 시 클라우드 장애 복구 기능을 활용해 강력한 엣지 컴퓨팅 환경을 구축하는 방법을 소개합니다. 본 구현을 통해 에어갭 환경이나 네트워크 장애 상황에서도 AI 운영을 지속적으로 유지하는 방법을 살펴볼 수 있습니다. 실제 사례를 기반으로, 로컬 프로세싱의 신뢰성과 클라우드 확장성을 동시에 제공하는 하이브리드 아키텍처의 가능성을 탐색하고, 최신 AI 배포 환경에서 직면하는 도전 과제에 대한 실용적인 해결책을 공유합니다. 또한, 엣지와 클라우드 환경에서 정교한 멀티에이전트 워크로드를 실행하기 위한 배포 전략과 성능 최적화 기법도 함께 소개합니다.