독자 AI 파운데이션 모델 프로젝트에서 노타는 모델 경량화를 통해 대규모 LLM을 더 적은 GPU로 구동할 수 있도록 최적화했으며, Backend.AI와 FastTrack을 활용해 반복 실험과 자원 관리를 효율화했습니다. 그 결과 250B급 모델의 서빙에 필요한 GPU 수를 크게 줄이면서도 품질 저하를 최소화하고, 온디바이스 중심의 경량화 기술을 데이터센터 규모로 확장할 수 있었습니다.

ML 리서치 사이언티스트인 최은성 님은 성균관대학교 슈퍼컴퓨팅 센터에서 Backend.AI를 사용해 온프레미스 GPU 인프라 운영 부담을 줄이고, 멀티 GPU 학습과 일관된 소프트웨어 환경 속에서 연구에 집중할 수 있었다고 말합니다.

업스테이지 컨소시엄이 정부 '독자 AI 파운데이션 모델' 사업 1차 평가를 통과했습니다. 그 여정을 인터뷰로 만나보세요.