Backend.AI로 인프라 걱정 없이 연구에 집중하다
"AI 연구자라고 해서 모두가 하드웨어를 잘 다루는 건 아니에요. 인프라를 만지는 게 부담스럽지만 연구는 하고 싶은 사람에게는, 드라이버 버전 같은 걸 알아서 잡아주는 Backend.AI가 정말 잘 맞습니다."
Research Scientist
최은성 (Eunseong Choi)
검색과 자연어 처리를 연구하는 최은성 님은 2019년 말 대학원에서 머신러닝·AI 연구를 시작해 지금까지 이 분야에 몸담아 왔습니다. 지금은 검색 기술 스타트업 Liner에서 모델 학습과 평가, 검색 파이프라인 구축을 맡고 있습니다. 대학원 시절 BERT가 막 주목받던 때부터 여러 아키텍처의 모델을 학습시키고 파인튜닝했고, 이후에는 70B 정도까지 모델 크기를 키워 학습과 추론까지 다뤘습니다. 그 과정의 상당 기간을 함께한 인프라가 성균관대학교 슈퍼컴퓨팅센터에 도입된 Backend.AI였습니다.
성균관대학교의 Backend.AI를 통한 슈퍼컴퓨팅 센서 운영 사례가 궁금하신가요? [케이스 스터디 확인하기]
서버를 구입하는 과정까지 연구의 일환이었던 시절
Backend.AI를 쓰기 전, 연구실에서는 인프라를 직접 구축해 운영했다고 합니다. 서버 업체에서 장비를 받아 세팅을 마치면, 서버실에 넣어두고 내부망으로 접속해 쓰는 식이었습니다. GPU는 가성비를 따져 RTX 3090이나 A6000같은 워크스테이션을 많이 사용했고, 그 전에는 2080과 1080 Ti같은 GPU들도 사용했다고 합니다. 처음에는 별 문제가 없었지만, 연구실에서 운영하는 장비의 규모가 커지면서 문제가 조금씩 드러났습니다. 학생이 16~20명에 이르다 보니 예산 한계 탓에 두 장짜리 서버를 여러 대 사는 식으로 운영할 수밖에 없었고, 그렇게 늘어난 서버가 40~50대에 달했다고 합니다. 다루는 모델은 점점 커지는데 두 장씩 박힌 서버로는 멀티 GPU가 안 되니, 다른 서버에서 GPU를 빼내어 네 장으로 몰아 꽂고, 남은 부품을 처분하는 등 서버 장비 재편이 끊이지 않았습니다.
"서버가 꺼지는 경우가 많은데, 사실 학생이 할 수 있는 건 재부팅 정도거든요. 부팅 한 번 하러 왔다 갔다 하면 최소 30~40분이 날아가요."
소프트웨어 환경 관리는 또 다른 골칫거리였습니다. 저희는 여유가 있어서 개인별로 작은 서버를 배분해서 사용했고, 공용 서버는 Google 시트에 예약 칸을 잡아 나눠 쓰는 식으로 운영했습니다. 개인 서버는 어차피 하나의 하드웨어를 개인이 점유하고 사용하는 것이었기 때문에 편의성이 높았지만, 사용율이 높지 않은 하드웨어 관리가 어려웠던 문제가 있었고요, 공용 서버의 경우는 다른 사람이 쓰고 나면 환경 초기화가 잘 안 되어서 환경이 자꾸 꼬였습니다. PyTorch 버전 하나만 바꿔도 CUDA 버전과 맞지 않아 이것저것 깨지기 일쑤였고, 그걸 다시 맞추는 데만 시간을 크게 들였습니다. Docker를 쓰는 사람, Conda를 쓰는 사람, 아무것도 안 쓰는 사람이 제각각이었으니 공용 환경이 일관될 리 없었습니다.
자원이 한곳으로 모이자, 운영이 사라졌다
국내 대학 최초 슈퍼컴퓨팅 센터를 구축한 성균관대학교
성균관대학교가 슈퍼컴퓨팅센터를 구축해 가속기를 비롯한 AI/HPC 자원을 한 곳으로 모으고, Backend.AI가 운영시스템으로 채택되면서 루틴이 변했습니다. 자원이 한곳에서 관리되니, 연구실마다 인프라를 구입하고 관리하던 부담이 사라졌습니다. 필요한 만큼 할당받아 쓰면 됐고, 멀티 GPU를 어떻게 이어 붙일지 고민할 필요도 없었습니다. 직접 운영할 때 따라붙던 서버 재편과 불용 처리, 공간 문제도 없어졌습니다.
최은성님은 "자원을 분산해서 각자 떠안던 것을 한 체계로 모아 관리하니, 그쪽이 훨씬 효율적이고 편했어요. '우리가 산 환경에 이걸 어떻게 이어 붙이지' 하는 고민을 안 해도 됐죠."라며, 슈퍼컴퓨팅 센터 구축으로 인해 자원이 한 곳으로 모이며 좋아진 점에 더해 Backend.AI로 운영 환경이 일원화되며 환경 세팅에서 시간을 절약할 수 있었던 경험을 떠올렸습니다. 사용자마자 가상머신(VM)을 할당받는 것과 유사하게 사용할 수 있다 보니 깨끗한 환경에서 원하는 환경을 골라 사용할 수 있었다고 말합니다.
매 번 하드웨어를 새로 할당받아 사용하는 경우, 기존 설정값을 불러오는 것이 어렵지 않았을까요? 최은성 님은 처음 GPU를 할당받아 들어갈 때 실행하는 스크립트를 하나 정리해 두었다고 합니다. 새 자원을 받을 때마다 그 스크립트를 돌리면 기존 설정대로 10~15분이면 환경이 올라오기 때문에 하던 작업을 손쉽게 이어할 수 있었습니다. 직접 운영하던 시절과 견주면 들이던 노력이 체감상 10배, 어쩌면 그 이상 줄었다고 그는 말합니다.
매일 만나는 편리함, VFolder 기능과 VSCode 연동
자원 통합만큼이나 그가 또렷이 기억하는 건 매일의 작업을 매끄럽게 만든 두 가지 기능입니다. 하나는 스토리지였습니다. 최은성님은 Backend.AI를 사용하시면서 폴더명 앞에 점을 붙이면 자동으로 마운트되는 VFolder의 사용 방식이 매우 편리했다고 회고합니다. "사용자가 각자 이름으로 폴더를 만들어 자동 마운트해 두면 동료 폴더에 있는 자료를 SSH 없이 그대로 가져다 쓸 수 있어서 협업을 하는 과정에서 매우 편리했어요." 특히, 이후 RunPod과 Lambda Labs 등 다양한 소프트웨어를 회사에서 사용하고 있는데, 자동 마운트 기능이 없거나, 있어도 사용하기 힘들 정도로 느려서 도움이 되지 않는다고 덧붙입니다.
다른 하나의 편리함은 VS Code 연동이었습니다. 당시에는 코드를 직접 다 짜고 구글링해 복사, 붙여넣기 하는 일이 많았는데, Backend.AI는 앱에서 VS Code를 바로 띄워 자기 코드에 접근해 편집할 수 있어서 편리했다고 합니다. 당연히 WebUI 내에서 바로 VSCode를 열어 사용할 수 있었기 때문에 SSH를 열거나, VS Code를 위해 다른 세션을 따로 연결할 필요가 없었습니다. 쓰는 당시에는 너무 당연한 기능이어서 편리하다 생각하지 못했는데, 다른 소프트웨어들을 경험해보며 Backend.AI가 정말 편리했구나 하고 알게 되었던 경험도 있다고 했습니다.
학교라면 당연히 Backend.AI를 추천해요.
"인프라 다루는 게 부담스러운데 연구는 하고 싶은 분들에게는, '딸깍'하면 필요한 세팅이 딱 만들어지고 나는 하고 싶은 연구만 한다는 게 정말 편할 수 있죠."
최은성님은 컴퓨터 조립과 같은 하드웨어를 좋아하는 연구자도 있지만, AI와 소프트웨어 자체가 좋아서 직업을 선택한 사람도 있다고 했습니다. 논문을 쓰는 능력과 터미널을 다루는 능력은 전혀 다른 문제이기 때문에 연구자에게 하드웨어를 공부하라고 하는 것도 쉬운 이야기는 아니라고 설명합니다. 직접 운영의 고통과 통합 운영의 편함을 모두 겪은 그에게 추천 대상을 묻자, 답은 망설임이 없었습니다. "온프레미스 서버 환경을 구축해야 하는 곳, 특히 학교라면 다 추천해야 하는 거 아닌가요? 온프레미스를 구축하면 결국 그 서버를 관리할 무언가가 필요해지거든요. 사용자 입장에서는 Backend.AI를 통해 사용하는 경험이 매우 편리하고 좋았기 때문에, 구성원의 만족도를 생각하면 Backend.AI를 도입하는 것이 좋다고 생각합니다."
"편리한 UI 덕분에 프로그램을 처음 접해보는 사람도 쉽게 사용할 수 있었어요."
최은성님은 저희를 만나기 전, 같은 연구실에서 일했던 동료들에게 연락해 Backend.AI를 사용했던 경험이 어땠는지 물어봤다고 합니다. "당시 동료들에게 연락해서 그 때 썼던 환경 기억하냐고 물어봤는데, 편하게 썼던 기억밖에 없다고 했어요." Backend.AI가 그에게는 처음 써본 클러스터 환경이었는데도 '이건 당연히 이걸로 하고, 버튼을 누르면 할당되는구나' 하고 사용법을 바로 이해할 수 있었다고 합니다.
연구자가 인프라를 의식하지 않고 연구에만 집중하는 환경
누군가에게는 당연해 보일 수 있는 편의가 다른 환경에서는 쉽게 얻기 어려운 경험이기도 합니다. 그 차이가 쌓이면, 연구자들은 더 빠르게 앞으로 나아갈 수 있습니다. 최은성 님과 동료들이 “Backend.AI를 그냥 편하게 잘 썼다”고 말했던 이유도 여기에 있지 않을까요.
