해당 글은 2025년 9월 24일, lab | up > /conf/5에서의 신정규 대표 기조 연설을 요약한 글입니다.

AAA: 자율적이고, 자동화되며 적응하는 AI에 대하여

래블업 10주년 키노트: 앞으로의 10년

오늘 컨퍼런스에 참석해주신 모든 분들께 감사의 말씀을 드립니다. 저희 래블업은 'Make AI Accessible'이라는 모토로 2015년부터 현재까지 Backend.AI라는 AI Infrastructure Operating System을 개발해온 회사입니다. 이는 리눅스 노드들을 마치 프로세스처럼 사용하는 거대한 운영체제라고 할 수 있습니다. 다시 찾아주신 분들도 많이 계신데, 돌아와 주셔서 진심으로 감사드립니다.

슬립스트림 전략에서 AI 산업혁명까지

재작년의 래블업 컨퍼런스에서 우리는 AI 전략으로서 'Slip Stream Strategy'라는 개념을 소개했습니다. 이는 빠른 자동차 뒤를 바짝 따르는 차량이 앞차가 받는 바람의 저항 덕분에 상대적으로 적은 연료로 더 멀리 가거나 더 빨리 갈 수 있는 효과를 의미합니다. 레이싱에서 이러한 슬립스트림은 투입 비용을 줄여주면서도, 동시에 기회가 왔을 때 추월할 수 있는 가능성을 제공하는 고급 기술에 해당합니다. 래블업의 전략은 현재 우리가 빅테크 기업들의 자본을 따라갈 수 없는 상황에서, 그들의 약점을 파고들어 나갈 수 있는 기회를 포착하도록 하는 것이었습니다. 이러한 슬립스트림 전략을 통해 다양한 종류의 서비스들과 기술들을 소개해왔습니다. 작년에는 대AI시대, 즉 AI에 무엇이 있는지 모른 채 모두가 달려가던 시대가 거의 끝나가고 있으며, 대항해시대에 해당하는 대AI시대가 막을 내리고 AI 산업혁명기에 접어들고 있다는 주제로 말씀드렸습니다. 누군가는 이제 막 후추를 들고 들어오기 시작했는데, 도착해보니 이미 한쪽에서는 운하가 파져있는 상황이 끊임없이 벌어지고 있었습니다. 또 누군가는 지구가 둥글다는 것을 증명하기 위해 배를 타고 지구를 일주하던 시대가 있었습니다. 마찬가지로 한편에서는 매우 작은 소규모 비즈니스나 소규모 모델을 만들고 있지만, 어떤 곳에서는 이미 AI 파이프라인을 구축하여 수익을 창출하는 회사들이나 대규모로 서비스를 글로벌 전개하는 회사들이 있습니다. 또 어떤 곳에서는 제너럴 인텔리전스를 목표로 인류의 다음 지성을 만들기 위해 열심히 항해하는 그룹들도 존재합니다.

지난 컨퍼런스 때 이러한 말씀을 드렸는데, 그 이후 짧지 않은 1년이라는 시간 동안 이 AI 분야에도 산업혁명에 해당하는 변화가 일어났습니다. 대항해시대가 산업혁명에 미친 영향, 그리고 산업혁명이 세상에 미친 영향과 마찬가지로 이제 AI 모델들은 매우 빠르게 이터레이션되고 공개되고 있으며, 새로운 모델들이 나오는 시간도 개월 단위에서 주 단위로 줄어들고 있습니다. 또한 여기에 참여하는 주체들도 빅테크 기업뿐만 아니라 모델 개발사들도 매우 다양해지고 있으며, 국가들의 참여도 확대되고 있습니다.

10주년, 그리고 앞으로의 10년

저희가 2015년, 정확히는 10년 5개월 전에 AI를 모두에게 닿게 하겠다는 목표로 회사를 시작했습니다. 2022년부터는 변화의 흐름과 함께 모든 스케일, 작게는 IoT 디바이스부터 크게는 하이퍼스케일에 이르기까지 모든 AI를 운영하고 개발할 수 있도록 지원하겠다는 목표로 매진하고 있습니다. 작년에 말씀드렸을 때는 스케일링이나 가속, 그리고 인퍼런스를 매우 쉽게 만들어주겠다는, 한마디로 줄이면 AI를 쉽게 만들어주겠다는 목표로 시작했습니다. 이러한 통합 엔터프라이즈 솔루션에 대한 이야기를 했었는데, 올해는 구체적인 이야기보다는 큰 그림을 짧게 전달해달라는 요청을 받았습니다. 키노트 시간도 짧고 오늘 많은 분들이 다양한 이야기를 해주실 예정이기 때문에, 10주년을 맞은 기념으로 앞으로의 10년이라는 미래의 이야기를 해보고자 합니다. 다소 추상적으로 들릴 수도 있는 이야기들입니다. 하지만 저희가 10년 전 창업할 때 지금 하고 있는 일들을 그때 이야기했을 때, 받았던 대부분의 피드백은 '공상과학 같다', '상상하는 것 같다'는 것이었습니다. 딥러닝이 발전하면 지식뿐만 아니라 인간의 지적 활동이나 창조 활동을 대신할 수 있을 것이라는 이야기를 했을 때 많은 사람들이 비웃었습니다. 그런 마음으로 앞으로 10년간 우리가 무엇을 할 것인지에 대한 이야기를 전해드리고자 합니다. 2016년, 저희가 15년에 창업하고 16년에 회사를 소개하며 다녔을 때의 슬라이드를 기억합니다. 그해 11월에 첫 오픈소스 버전이 나왔는데, 그때 이름이 '소르나'였습니다. 그 이후로 정말 큰 변화가 있었습니다.

지난 5천 년의 위임, 그리고 세 가지 대체

지난 10년과 앞으로의 10년을 보기 전에, 잠시 지난 5천 년을 돌아보겠습니다. 지난 5천 년 동안 인류가 대체해온 것들이 있고, 기술을 개발하면서 지난 200년 동안 또 대체해온 것들이 있습니다. 인류는 무언가를 계속 위탁하는 것을 추구해왔습니다. 기술이 발전하는 이유를 생각해보면, 인간이 기술을 개발하는 이유는 자신이 하는 어떤 것을 계속 위임하기 위함입니다. 어떻게 보면 '가만히 있고 싶다', '한없이 가만히 있고 싶다'는 것이 인류의 근본적인 동기입니다. 그런데 아이러니하게도 가만히 있기 위해 노력하는 우리는 주당 일하는 시간이 점점 늘어나는 시대를 살고 있습니다. 나무에 매달려 살던 시절에는 하루에 20시간 이하로 노동을 했다고 합니다. 지금은 갈수록 늘고 있고, AI가 늘어나면 아마도 더 늘 것입니다. 어쨌든 지금까지 거의 모든 기술은 인간의 물리적 일을 대체하는 데 집중해왔습니다. 여러분도 잘 알고 계시다시피, 그런데 최근 50년간의 변화는 인간의 지식노동을 대체했습니다. 기존에 엔진 같은 기관들이 물리노동을 대체했다면, 최근에 컴퓨터와 컴퓨테이션, 계산이 대체한 것은 인간의 지식노동들입니다. 컴퓨터를 모두가 대표적인 예로 알고 있고, 우리는 어느 순간부터 도서관 대신 인터넷에서 자료를 검색하고 연구를 합니다. 그다음에 수기로 하나씩 다 계산을 하거나 주판을 쓰는 대신 엑셀이나 데이터베이스를 통해서 수백만 개의 레코드를 분석할 수 있게 되었습니다. 그리고 최근 5년 동안 있었던 발전은 그 세 번째에 해당되는 것 같습니다. 우리가 물리적인 활동, 그다음에 지식활동을 대신해왔다면, 이제는 인간의 창작활동이 대체되는 시대가 된 것입니다. 딥러닝 기반의 생성 모델들이 2022년부터 크게 각광을 받기 시작했는데, 2020년 GPT-3가 나오면서부터 지금까지 5년 동안 생성형 AI라는 것을 발견해내고, 발명한 건 아니죠, 발견해내고, 그것을 통해서 엄청나게 빨리 이터레이션을 거치면서 저희가 겪어온 것은 인간의 창작활동이 어느 정도는 대체될 수 있다는 이야기입니다.

측정이 가능해야 대체가 가능하다

그런데 어떻게 이게 가능할까요? 이러한 변화들, 앞에 세 가지, 이번이 세 번째 변화라고 하면 앞에 두 변화를 포함해서 세 번째 변화까지, 뒤에 뭐가 있는지 잘 생각을 해보시면, 그것은 우리가 어떤 시스템을 측정할 수 있고 평가할 수 있기 때문에 그런 게 가능해진 게 아닐까라고 생각할 수 있을 것 같습니다.

이게 무슨 말이냐, 잘 생각을 해볼게요. 우리는 항상 어떤 식으로 정량화를 해왔습니다. 대량 생산에 앞서서는 우리가 도대체 뭐가 필요한지를 명확하게 알아야 하고, 규격화가 돼야 되고, 규격화를 하기 위해서는 측정을 할 수 있는 시스템이 돼야 됩니다. 그렇기 때문에 측정 가능한 것으로 모든 것들을 만들었습니다. 그래서 보통 우리가 산업화 이전에 문명화 단계에서도 어떤 단위계가 굉장히 중요한 역할을 했습니다.

마력: 물리노동의 계량화

그 수천 년 역사 동안 우리가 인간이 하거나 아니면 동물이 했던 이런 물리노동은 우리가 마력이라는 수치를 써서 대략적으로 정량화를 했습니다. 잘 생각해보시면 근데 마력이라는 단위가 말이 되는 것 같으세요? 말 한 마리가 할 수 있는 일이라는데, 저 말은 경주마고 이 말은 일반마예요. 그럼 어느 말을 기준으로 해야 될까요? 아니면 이 말은 짐을 나르는 말이고 이 말은 승마용, 그냥 타는 말인데요. 그러니까 말이라는 것도 엄청나게 편차가 큽니다, 사실.

그런데 우리는 어느 순간 그냥 그 말들을 뭉뚱그려서 1마력이라는 단위를 만들었어요. 그러면 그 1마력이라는 단위를 만듦으로써 우리는 원래는 계량화할 수 없었던, 말이라는 어떤 종족의 능력을 하나의 수치로 만들게 된 것입니다. 그리고 우리는 그 후에 나온 자동차가 몇 마력인지라는 표현을 쓸 수 있게 됐습니다. 이게 생각해보면 되게 이상한 거죠. 대표적인 걸 하나 볼까요. 비행기가 몇 마력일까요? 비행기는 당연히 마력이 있죠. 32만 마력, 이런 마력이 있는데, 말이 예를 들어서 30만 마리다. 그렇다고 말들이 하늘을 날 수는 없잖아요. 그러니까 어떻게 보면 우리는 물리량이라는 게 있고, 그 물리량의 기준을 하나를 잡고, 그 기준인 말의 평균치 능력을 하나를 정한 다음에 계량화를 하게 된 거예요. 그러니까 이 비행기가 파닥파닥 날아가는 것도 우리가 정량화된 수치로 말을 할 수 있게 된 거죠. 그래서 약 100년 만에 현대 자동차들은 말 천 마리에 가까운 추력을 가지고 전진할 수 있게 됐습니다. 어떤 것은 물론 기름을 태우고 어떤 것은 전기를 씁니다. 전기를 쓰는 경우는 이제 와트라는 단위를 쓰고 있죠. 그럼 이런 와트라는 단위로 정량화한 그런 힘은 인간의 육체 노동을 넘어서 불가능을 가능하게 했습니다. 그 결과가 우리가 지금 사용하고 있는 컴퓨테이션에 해당합니다.

맨먼스: 정신노동의 계량화

그러면 우리가 정신노동은 어떻게 계량화를 할 수 있을까요? 우리나라에만 있는 단위가 아니지만 어쨌든 우리나라에서 많이 쓰는 게 맨먼스(Man-Month)라는 얘기 들어보셨나요? 생각해보면 되게 웃기잖아요. 한 사람을 한 달 동안 넣어서 할 수 있는 지적 활동이라는 게 사실 가능할 것 같지 않지 않으신가요? 주변을 둘러봐도요.

그런데 우리는 어느 순간 그렇게 주관적이고 편차가 엄청나게 있을 수 있는 측정 대상을 계량화를 합니다. 그리고 그 계량화를 하는 데 성공한 것들은 정의가 되는 거고, 충분히 측정 가능한 지표들을 계량화하는 순간부터 표준화가 가능해지게 됩니다. 그리고 그 표준화에 이어서 이제 스케일업이 가능해지게 되는 거죠.

창작활동의 계량화: 다음 단계

그다음에 이제 전기와 실리콘은 인류의 세 번째 노동을 현재 대체하려고 하고 있고, 그게 이제 창작이라고 볼 수 있을 겁니다. 최근 5년 동안 1만 배 이상의 컴퓨테이션을 넣어서 모델을 훈련할 수 있게 되고, 그렇게 모델을 만들어낸 결과 우리는-정확히 엄청나진 않지만-대체적으로 어느 정도의 창작이 가능한 기계들을 만들어냈습니다. 그게 사실 어떤 사람 눈에는 '아직 멀었어, 갈 길이 많아'라고 생각을 할 수도 있겠지만, 그게 그렇게 크게 중요하지는 않습니다. 그냥 말 한 마리 같은 겁니다. 어떤 종류의 계량 가능한 창작 활동의 단위를 만든 게 된 거예요.

그러면 지난 5년 동안이 주는, 대체 노동-대체 창작 활동에 대한 측정을 뭘로 해야 될까요? 최근 5년 동안의 발전이 가져온 노동 대체 가치를 정량화하기 위해서 새로운 지표가 필요하게 되는데, 사실 이건 측정하기 어려울 거예요. 왜냐하면 창작의 단위를 뭘로 할 거냐, 이런 자동화된 창의적 노동이 앞으로 되게 많아질 텐데 이런 능력을 계량화를 어떻게 할 거냐. 당연히 이런 계량화를 하기 위해서 우리가 프레임워크가 필요하게 될 거고요. 이런 프레임워크와 이런 새로운 지표들을 통해서 기계가 산출한, 기계가 만든 산출물들에 대해서 이제 인간의 창의력 일부가 대체가 될 텐데, 그런 대체들을 어떻게 정량화할 수 있느냐-이게 저희의 고민의 시작입니다.

지능 요구량이라는 새로운 단위

만약에 우리가 지적 노동을 시간으로 계량화를 했다면, 창작 활동을 어떤 식으로든 도구화할 수 있게 된 다음에는 우리가 마치 전력량을 계산하듯이 지능 요구량이라는 걸 계량을 할 수 있게 될 거예요. 아마도 곧이겠죠. 그러니까 마력, 전력량 이런 것처럼 지능 요구량이라는 수치가 나올 겁니다.

사실 이게 좀 신기하게 들리시겠지만 우리는 되게 일반적으로 알고 있는 거예요. 왜냐하면 우리는 시험을 치잖아요. 수능을 보죠. 학벌을 따지기도 하고, 면접을 보거나 경력을 보기도 합니다. 이런 것들은 사실 이런 지능 요구량에 대한 간접 지표들이에요, 어떤 의미에서 보면. 그리고 아마도 어떤 특정 창업을 하거나 어떤 스타트업을 만들기 위해서는 그 사업이 필요로 하는 지능 요구량과 지능 소비량이라는 게 잠재적으로 존재할 겁니다. 단지 그건 우리가 계량화할 수 없기 때문에 현재는 그냥 좋은 사람들과 함께하는 것으로 이런 지능 요구량을 충족시키는 거죠.

래블업의 다음 10년: 지능을 공급하는 회사

그래서 저희가 앞으로 10년 동안 뭘 할 거냐라고 고민을 했을 때, 저희의 대답은 지능 수요를 정량적으로 공급하는 기업으로 한번 변형을 하면 우리의 미래를 열 수 있을 것 같다는 생각을 하게 됐습니다. AI 엔지니어링 시대와 함께 지능이 이제 인플렉션 포인트를 넘어서 마구 증가하고 있는데, 그렇다면 우리가 Make AI Accessible, 그리고 Make AI Scalable 다음으로 해야 되는 것들은 아마도 다양한 종류의 지능 단계에 따라서 그 지능을 필요로 하는 곳이 얼마나 필요로 하는지 정량화를 하고 그 정량화한 자원을 낮은 가격으로 공급하는 그런 기업이 되어야 되겠다는 생각을 하고 있습니다.

그래서 우리는 앞으로 10년 동안 지능을 공급하는 회사로 변모하고자 합니다. 매우 추상적이죠. 아마도 10년 전에 저희 회사의 설명을 들으신 분들도 마찬가지로 생각하셨을 것 같습니다. 형태와 스케일에 상관없이 특정 레벨의 지능 요구량을 제공하는 솔루션을 만들고, 그러한 지능 요구량을 달성하기 위해 필요한 수많은 파트너들과 함께 일하며, 그것을 파이프라인화하는 플랫폼을 만드는 것을 저희의 다음 10년 목표로 삼으려고 합니다.

이를 위해서 저희가 매우 다양한 하드웨어 반도체의 성능과 특징을 누구보다도 빨리 파악하고, 또한 거기서 요구되거나 새롭게 만들어지는 지능량들을 정량적으로 측정할 수 있게 하면서, 동시에 많은 개발사들과의 파트너십과 현재의 많은 고객 및 사용자층과 훨씬 더 많은 대화를 통해서 이러한 공급과 필요가 만나는 단계에서 어떤 식의 지능이 계량화되어야 하는가를 정의하고, 그 단계에서 발생할 수 있는 모든 스케일업을 돕고 함께하는 것을 저희 회사의 다음 목표로 삼고 있습니다.

새로운 플랫폼들: PALI, Continuum, AI:DOL

2024년에 저희가 세 가지 플랫폼을 공개했는데, 당시에 창고에 출격을 기다리는 프로젝트들도 있다는 표현을 했었습니다. 실제로 저희가 TensorRT-LLM이나 vLLM, SGLang을 활용해서 가상화와 결합하여 유연성과 성능을 달성한 PALI(Performant AI Launcher for Inference)를 개발했습니다. 또한 PALI와 FastTrack의 파인튜닝 결합을 강화해서 PALANG이라는 서비스를 만들어 제공하고 있습니다. 그리고 1년 동안 그 목록에 컨티넘이라는 새로운 도구가 추가되었습니다. 클라우드와 온프레미스를 믹싱해서 제공하는 적응형 페일오버 시스템이자 동시에 모델 라우팅 시스템입니다. 단순히 모델의 API를 라우팅하는 것이 아니라 PALI와 결합하여 분산형 서빙의 게이트웨이로 동작하는 것이 특징입니다. 예를 들어 프리필(prefill)이라고 하는 데이터를 채우는 부분과 디코드를 통해서 데이터를 만들어내는 부분들을 서로 다른 반도체 또는 서로 다른 팜으로 분해하고, 그것들 사이를 초고속 KV 캐시 또는 프리필 캐시, 컨텍스트 캐시 등으로 연동하는 모든 과정에 다이나모 및 llm-d와 결합해서 컨티넘 라우터를 통해 제공할 수 있도록 하는 핵심 기술 중 하나가 됩니다. 대규모 분산 시스템을 관제하는 시스템으로 컨티넘이 새롭게 추가되었습니다. 두 번째로 올해 추가되는 항목은 AI:DOL인데, 다른 세션에서 자세히 다룰 예정입니다. 바둑의 돌에서 원래 힌트를 얻었고, 이세돌 선수의 '돌'에서도 힌트를 얻어서 원래는 Deployable Omnimedia Lab의 약자입니다. 앞에 AI가 붙은 것은 저희가 lablup.ai 도메인을 사용하므로 래블업 AI DOL이라고 했었는데, 사람들이 자꾸 '아이돌'이라고 읽어서 그냥 아이돌로 하기로 했습니다. 기존의 토커티봇 시스템을 대체하여 단순히 채팅이 아니라 다양한 미디어를 생성하고 활용하거나 생성된 미디어들을 관리하는 고급 저작 도구입니다. 밖에 데모가 준비되어 있으니 많이 사용해주시면 좋겠습니다.

왜 직접 만드는가: 긴밀한 통합의 가치

사실 이러한 도구들은 오픈소스로도 많이 있습니다. Open WebUI 같은 것들도 있는데 왜 직접 만들까요? 저희는 지능의 계량화와 최적화를 위해서는 서비스 레이어와 인프라 레이어가 긴밀하게 통합되어야 한다고 생각합니다. 다양한 레이어를 보통 별도로 만들어서 결합하여 제품 및 서비스를 만드는 접근이 일반적이지만, 저희가 보기에는 각각이 밀접하게 상호작용을 해야만 도달할 수 있는 편의성과 최적화의 영역이 존재한다고 봅니다. 애플도 같은 이야기를 합니다.

DOL의 경우 직접 PALI에 요청을 전달하거나, 반대로 PALI가 DOL의 상태를 파악해서 미리 서빙을 준비하거나, PALANG의 경우 사용자가 현재 언어 모델을 사용하는 데 전혀 영향을 주지 않고 알아서 파인튜닝 스케줄을 잡는 등 매우 긴밀한 통합이 필요하게 됩니다.

하드닝 프로젝트와 Backend.AI 25.14

작년에 발표한 다양한 프로젝트들이 이제 공식 런칭된 것들이 꽤 있고, 버전이 올라간 것들도 있습니다. 오늘 소개해드린 두 프로젝트와 소개하지 않은 backend.ai doctor 프로젝트 같은 경우들은 기존의 backend.ai에 안정성과 확장성을 더하기 위해서 하드닝 프로젝트라는 내부 프로젝트를 적용한 첫 사례들이 되고 있습니다. 이를 적용한 첫 버전인 25.14와 함께 오늘 따로 소개드리지 않은 자동진단 및 복구 기능 솔루션인 backend.ai doctor와 묶여서 다음 단계로 더 스케일업하기 위한 여러 가지 발판을 준비했습니다.

2년 후, 그리고 10년 후

이러한 것들을 준비하면서 지난 10년과 앞으로 10년에 대해 매우 많은 생각을 하게 되었습니다. 10년 후라고 하면, 앞서 제가 지능의 계량화라는 말씀을 드렸지만 매우 먼 이야기입니다. 그런데 사실 앞으로 2년 후는 저희가 명확하게 알 수 있습니다. 2년 후의 경우 지능 요구량의 공급 방법이 크게 변하고 있습니다.

예를 들면 우리가 2022년 말에 보고 엄청나게 놀랐던 GPT-3.5 기반의 ChatGPT 정도의 역량은 이제 조만간 1년이나 2년 안에 스마트폰 스케일로 모두 구현될 것입니다. 그러면 데이터 비즈니스의 스케일, 그 다음 스케일도 아마 계속 따라올 것입니다. 컴포저블 클러스터나 더 작은 단계의 인프라스트럭처들이 생기게 될 것이고, NPU 기반의 다양한 디플로이로 공급될 수 있는 단위들도 생기게 될 것입니다. 더 큰 쪽, 하이퍼스케일러 쪽으로는 이제 10만 이상의 단위로 계속 올라가고 있지만, 동시에 그 아래로도 계속 확장될 것입니다.

저희는 이렇게 매우 다양해지는 스케일과 플랫폼의 시대에 지능을 개발하고, 지능을 공급하고, 또 지능을 계량하는 회사가 되기 위해서 앞으로의 새로운 10년을 열어가려고 합니다. 래블업의 도전을 많이 지켜봐 주시면 좋겠습니다.

마무리

오늘 이 컨퍼런스에서는 비슷한 고민을 매우 많이 하는 AI 분야의 여러분들을 모셨습니다. 인프라스트럭처, 모델링, 연구, 애플리케이션에 걸쳐서 오늘 세 개의 세션 트랙에서 만나보실 수 있을 것입니다. 이러한 최전선에서 일어나는 매우 다양한 일들과 새로운 경험들을 들으시고, 이런 기회들을 통해서 옆에 앉아 계신 분들과도 많은 대화를 통해서 경험들을 모아 이 자리에서 여러분들이 다양한 이야기를 통해 무언가가 새롭게 태어날 수 있으면, 그것이 꼭 저희와 직접적인 상관이 없는 일이라도 매우 행복할 것 같습니다.

다시 한번 와주셔서 반갑습니다.

래블업의 최전선과 AI의 최전선을 오늘의 컨퍼런스에서 마음껏 즐겨주시기 바랍니다. 감사합니다.