AI 골드러시에 리바이스가 되려는 ‘래블업’

비즈니스 격언 중에 “골드러시에는 금맥을 찾지 말고 청바지를 팔아라”라는 말이 있다. 19세기 미국 골드러시에서 실제로 큰 돈을 번 이는 금 캐러 다닌 사람들이 아니라 그들에게 청바지를 판 회사라는 것이다. 이때 등장한 게 유명한 청바지 브랜드 리바이스다.

챗GPT가 불러일으킨 AI 골드러시에도 청바지 회사는 있다. AI 업체에 GPU(그래픽 칩)를 판매하는 엔비디아가 대표적이다. 엔비디아는 AI용 GPU 시장을 독점하면서 AI 골드러시의 최대 수혜자로 자리잡았다.

하지만 금 캐는 광부들이 필요한 것이 청바지만은 아니다. 곡괭이와 삽도 필요하고, 머무를 숙소와 음식도 필수적이다. AI 골드러시에도 마찬가지다. GPU 이외에도 AI 개발에 필요로 하는 기술은 많다.

래블업은 AI 개발에 필요한 고성능 컴퓨팅 인프라를 효율적으로 관리하고 운영할 수 있는 소프트웨어를 제공하는 회사다. GPT-4와 같은 거대언어모델(LLM)을 만들기 위해서는 수천, 수만 대의 GPU가 동원될 정도의 대규모 컴퓨팅 인프라가 필요한데, 이 인프라를 최대한 효율적으로 관리할 기술이 필요하다.

래블업은 2015년 설립된 국내 스타트업인데 최근 들어 급격한 관심을 받고 있다. 챗GPT 등장 이후 본격적으로 AI 골드러시가 시작됐기 때문이다. 1분기 매출이 지난 해 전체 매출을 넘어섰다고 한다. 최근에는 시리즈 A로 105억원의 자금을 유치하기도 했다.

래블업이 어떤 기술을 제공하고 있으며, AI 골드러시에서 어떤 기회를 찾을 수 있는지 신정규 대표를 만나 이야기를 들어보았다.

먼저 그럼 간단하게 회사 소개를 좀 부탁드릴게요.

저희는 래블업이고요. AI 플랫폼을 만드는 회사예요. 정확히는 AI나 아니면 고성능 컴퓨팅, 슈퍼 컴퓨팅처럼 굉장히 많은 양의 컴퓨터를 써서 계산하는 환경을 효율화하고 분산 처리하고 최적화하는 플랫폼을 만드는 회사입니다. 백엔드닷에이아이(backend.ai)라는 오픈소스이자 엔터프라이즈 플랫폼 운영 솔루션을 만들고 있습니다.

인터뷰 오기 전에 기사 검색을 해보니 ‘GPU 가상화 기업’이라고 소개하는 내용이 가장 많더라고요.

(언론에서) 보통 많이 주목을 하는 게 그쪽이고요. GPU 가상화는 저희 플랫폼의 일부 기능입니다.

그럼 다른 기능들은 뭐가 있어요?

분산 처리를 하는 게 가장 큰 특징입니다. 예를 들어 거대언어모델(LLM)을 만들거나 단백질 구조 예측을 한다고 가정하면 컴퓨터 한 대로 하는 것이 아니라 수십, 수백 대로 같이 연산을 하는데, 이런 것을 지원합니다. 그 과정에서 주로 GPU를 많이 사용하게 되는데, GPU 최적화나 GPU 가상화 기능을 제공합니다. 또 데이터 병목을 없애기 위한 초고속 스토리지 가속 기능 같은 기술도 다 합쳐져 있는 플랫폼을 제공합니다. 그런 점에서 저희는 오퍼레이팅 솔루션 소프트웨어라고 부릅니다.

분산처리나 컴퓨팅 클러스터를 만드는 플랫폼이라는 점에서 보면, 기존에 유사한 역할을 하는 다양한 회사와 소프트웨어가 있지 않나요?

네, 눈에 보이는 것 자체는 VM웨어나 레드햇 오픈시프트처럼 클러스터를 돌리는 것과 비슷하게 보일 수 있습니다. 다만 그런 소프트웨어는 주로 시스템 관리자의 입장에서 활용하기 쉽게 접근하는 반면, 저희는 유저 입장에서 접근하는 면도 있습니다. VM이나 컨테이너를 관리만 하는 것이 아니라 실제로 코드를 돌려본다거나 AI 모델을 실행하는 API를 만든다거나 할 수 있습니다. 일종의 프라이빗 클라우드를 통째로 만들어주는 솔루션이라고 보면 됩니다.

저희의 가장 큰 특징은 필요한 모든 기능이 탑재된 풀피처(Full-Feature)라는 점입니다. OS 드라이버부터 UI 까지 모든 기능을 가지고 있는 솔루션이에요. 오픈시프트와 같은 솔루션은 뭔가를 붙여서 사용하거나 커스텀 기능을 넣어야 하는데 백엔드닷에이아이는 그대로 사용하면 되는 완성돼 있는 솔루션입니다.

그럼 굳이 AI라는 용도로 한정된 플랫폼은 아닌 거네요?

원래는 AI에 집중을 해서 만들었는데, 이제 점점 사용 폭이 넓어지고 있는 상황입니다.

현재 고객들은 어떤 용도로 주로 활용하고 있나요?

대부분의 고객들이 LLM이나 대규모 연산이 필요할 때 사용을 합니다. 아마 GPU를 운영하는 숫자는 저희가 가장 많을 거에요. 단위 고객사 중에서는 1800대에서 2000대 정도의 GPU를 운영하는 곳이 있습니다.

처음부터 한땀한땀 만든 솔루션인가요? 아니면 다른 오픈소스 소프트웨어를 기반으로 하고 있나요?

처음부터 개발을 했죠. 창업할 때는 있는 거 잘 조합하면 되지 않을까 생각했는데, 막상 개발을 시작하니 가져다 쓸 게 하나도 없더라고요. 예를 들어 저희가 개발을 시작했을 때(2015년)는 쿠버네티스(컨테이너 관리 자동화를 위한 오픈소스 소프트웨어)도 없었어요. 그래서 그런 기능을 하는 ‘소코반’이라는 걸 개발해서 넣었죠. 지금은 고객이 쿠버네티스와 소코반 중에서 선택해서 사용할 수 있습니다. 너무 일찍 시작해서 고생한 부분이 있죠.

왜 이런 걸 만들겠다고 생각하셨나요?

제가 대학 다닐 때 전산실 관리자를 했거든요. 그때 ‘도저히 이건 사람이 할 일이 아니다’라는 생각이 강하게 들었습니다. 수천 대 이상의 코어가 있는 상황에서 하드웨어는 3~4일에 하나씩 죽고, 이 사람 저 사람이 원하는 게 각자 다 다르고, 해킹은 해킹대로 들어오고… 이런 문제를 해결할 방법은 없을까 생각했어요.

그런데 도커가 나오면서 컨테이너에 대한 관심이 커졌고, 이걸 기반으로 하면 되겠다, 생각한 겁니다.

그럼 처음에는 타깃이 AI는 아니었네요?

타깃은 고성능 컴퓨팅이죠. 하지만 그 때도 용도는 두 개밖에 없었어요. 이런 플랫폼은 계산을 많이 돌리는 사람들이 필요로 하는데, 전통적인 고성능 컴퓨팅 분야와 딥러닝이죠. 딥러닝은 2012년 이후 계속 사람들의 관심을 받고 있었어요. 아직은 텐서플로우나 파이토치도 나오지 않았을 땐데 저희는 2012년에 나온 ‘카페’를 잘 돌려보자는 생각으로 접근했습니다.

반응은 어땠나요?

처음에는 후회했어요. 1년 동안 아무도 찾는 분들이 없었어요. 저희가 컨테이너 분야에서 너무 일찍 시작했어요. 당시에는 고성능 컴퓨팅을 컨테이너에서 돌린다는 거에 대한 거부감이 있었죠. 지금은 ‘클라우드 네이티브’라는 게 나오면서 컨테이너가 익숙해지고 고성능 컴퓨팅 분야에서도 컨테이너를 일반적으로 받아들입니다. 당시 고성능 컴퓨팅 시장에서는 심지어 VM도 싫고, GPU는 더 싫어해서 인기가 없었죠.

2015년에 창업했는데 이제서야 시리즈 A 투자를 받았네요?

2017년에 프리 시리즈를 20억원 받았어요. 원래는 10억원만 받으려고 했는데 관심을 가져주시는 곳들이 많아서 규모가 커졌죠. 2019년부터 저희 솔루션에 본격적인 수요가 시작됐어요. 더이상 AI 규모가 커지는 속도를 기존 솔루션으로는 따라잡기 어려웠던 거죠. GPT-2가 나왔고요.

그래서 2020년에 투자를 받으려고 했어요. 저희는 실리콘밸리 쪽에서 받으려고 계획을 세우고 있었는데 갑자기 코로나19가 터져서 출국 자체가 막혔어요.

왜 해외에서 투자 받을 계획을 세웠어요?

사실 한국에는 이 플랫폼의 수요가 많지 않을 거로 생각했습니다. 한국 기업들은 AI를 그렇게 크게 가져가지 않을 거로 생각했습니다. 큰 계산을 하는 고객을 타깃으로 해야 하는데 해외에서 투자 라운드를 돌면서 동시에 해외 고객에게 저희를 알리려는 목적이 있었습니다. 코로나19 때문에 어쩔 수 없이 국내로 눈을 돌렸는데, 한국에서 수요를 찾기 시작하니 의외로 엄청 많았습니다.

백엔드닷에이아이를 오픈소스로 하셨는데, 왜 그렇게 했나요?

처음에 함께 창업한 세 사람이 모두 오픈소스 하던 사람입니다. 지금 직원들도 반 이상은 오픈소스 하다가 만난 사람들입니다.

신정규 대표는 래블업 창업 전 텍스트큐브라는 오픈소스 콘텐츠 제작 플랫폼 소프트웨어 프로젝트를 이끌었다. 

보통 오픈소스라는 전략을 선택하는 경우 비즈니스적인 이유 때문일 때가 많은데, 그냥 오픈소스가 좋아서 했다, 이런 느낌이네요?

시작은 그렇게 했는데 비즈니스적으로 도움은 많이 받았습니다. 저희는 마케팅 조직이 없고 전부 개발자들만 있는데요, 해외 고객들이 저희가 정상적인 회사인지 판단할 방법이 별로 없어요. 저희가 열심히 설명을 해도 저희 말을 잘 못알아 듣는 경우가 많아요. 그럴 때 그 회사의 개발자들이 저희의 후원자가 되는 경우가 많아요. (오픈소스니까) 개발자들이 알아서 설치하고 이용해 보고 피드백을 주시는 거죠. 코드가 대신 나가서 세일즈 한다고 할까요?

오픈소스니까 다른 회사도 같은 제품으로 비즈니스를 할 수 있는 거잖아요? 그런 회사가 있나요?

국내에는 아직 못봤고, 해외에는 있습니다.

글로벌에는 유사한 소프트웨어도 많이 있고, 경쟁자가 많을 텐데 래블업의 최대 강점을 꼽는다면 뭐가 있을까요?

가장 큰 거는 지금 된다는 겁니다. “미래에 된다”는 것을 파는 게 아니라, “지금 되는 것”을 판다는 거죠. 아직 다른 경쟁사들이 풀지 못한 문제들을 저희는 풀었거든요. 예를 들어 초고속으로 데이터를 불러오는 기술 같은 건 저희가 먼저 개발했어요. 먼저 시작함으로써 보유한 기술 격차를 계속 유지하고 있다는 것의 저희 입장입니다. 올 하반기나 내년 초에는 또 ARM 기반 CPU를 많이 사용할 것으로 예상하고 있는데, 저희는 이미 재작년에 ARM과 포팅(Porting)이 끝났습니다. 이런 선행 기술이 저희의 최대 경쟁력이라고 봅니다.

최근에는 AI 분야에서 GPU가 아닌 NPU(AI 반도체)를 사용하려는 움직임도 있습니다. 이런 변화에도 대응이 되어 있나요?

저희가 지금 해외 NPU는 그래프코어, 국내 NPU는 리벨리온과 퓨리오사를 지원을 하고 있어요. 새로운 NPU 칩과 포팅을 할 때 반나절 정도 걸립니다. 그쪽을 추상화 하는 작업도 재작년에 했거든요. 엔비디아, AMD, 구글 이런 식으로 하나하나 포팅하다가 이게 많이 늘어나면 나중에 못 따라갈 것 같아서 그런 부분을 추상화해서 굉장히 쉽게 새로운 칩에 포팅할 수 있도록 했습니다.

사실 NPU에 대해서는 낙관론과 비관론이 모두 존재하거든요. 저는 낙관적으로 봅니다. 한 회사(엔비디아)가 그 많은 양의 컴퓨팅 자원을 모두 공급할 수 없을 거에요. 어떤 종류의 비가역적인 변화가 일어나고 있다고 보고 있습니다.

AI를 개발하는 기업들이 자체 서버를 운영하는 것보다 퍼블릭 클라우드를 사용하지 않을까요? 그럼 경쟁관계가 될텐데…

비용 차이가 심하게 납니다. 당장 GPU 수급이 어려워서 기업들이 클라우드를 사용하긴 하는데 3배 정도 비용차이가 납니다. 기업들은 비용을 줄이려고 하기 때문에 프라이빗 클라우드를 운영하는 경우가 많아질 것입니다.

래블업이 직접 퍼블릭 클라우드를 운영할 계획도 있으신가요?

네, 이미 GPU 60장 규모로 테스트를 만들었는데요, 정식 오픈을 하지는 않고 있습니다. 저희 입장에서 되게 중요하다고 보고 있어요. 왜냐하면 해외 고객들을 유인하는 가장 좋은 방법이 클라우드 서비스거든요.

또 다른 하나는 기존 클라우드 서비스의 마켓플레이스에 올리는 방법에도 집중하고 있습니다. 그 클라우드 위에서 소프트웨어를 구매해서 사용하는 방식이죠.

클라우드가 비싸다고 하셨는데, AWS에서 백엔드닷에이아이를 쓰면 여전히 비싸겠네요?

그렇지만 저희의 GPU 가상화가 적용이 되기 때문에 그냥 클라우드 서비스를 쓰는 것보다는 저렴합니다. 백엔드닷에이아이를 사용하면 GPU를 더 효율적으로 쓸 수 있어서 전체적으로 비용은 떨어집니다.

백엔드닷에이아이 클라우드 서비스를 GPU 60장으로 만들었다고 했는데, 사실 이 정도는 LLM 같은 AI 인프라로는 턱도 없습니다. 진짜 고객을 유치하고 서비스를 제공하려면 많은 비용 투자가 필요할텐데, 지난 투자유치가 그런 목적인가요?

네, 투자금의 한 절반은 GPU 구매에 사용될 예정입니다. 이미 발주도 했습니다.

래블업이 만드는 클라우드 서비스가 글로벌 클라우드 기업과 경쟁이 될까요? 한국 클라우드 서비스가 해외에서 성공한 사례는 없습니다.

의외로 클라우드가 굉장히 로컬한 비즈니스입니다. AWS나 구글 클라우드도 한국에 리전을 만들어서 하고 있어요. 기술적인 부분은 겹치지만 데이터센터를 운영하는 것은 로컬한 비즈니스입니다.

현재 비즈니스 모델을 정리해보면 온프레미스 용도로 소프트웨어 제공하거나, AWS와 같은 클라우드의 마켓플레이스에서 판매하고, 향후 직접 클라우드 서비스를 제공하는 것이라고 할 수 있는데요, 이 중에서 어떤 모델을 메인으로 생각하고 있으세요?

지금은 온프레미스입니다. 실제로 작년 매출의 95%는 거기서 나왔어요. 그런데 장기적으로 봤을 때는 저는 하이브리드 클라우드가 메인이 될 거라고 거라고 생각합니다. 온프레미스로 이용하다가 피크 타임이나 빨리 개발해야 하는 이슈가 발생하면 클라우드를 쓰는 방식이죠.

현재 래블업의 수익성은 어떤가요?

일단 2020년 이후에 계속 흑자를 기록하고 있어요. 해마다 매출은 성장하고 있고요, 당연히 작년 매출이 가장 많습니다. 그런데 올해 챗GPT 열풍으로 인해 1분기 매출이 작년 전체 매출을 넘었습니다.

지금은 AI 인프라 시장이 지금 래블업의 가장 큰 타깃인데, 앞으로도 계속 유지될까요? 구글이나 마이크로소프트 같은 한두 기업이 LLM 시장을 독식하면 래블업 같은 회사의 기회는 사라지지 않을까요?

AI는 한 분야라고 말하기 어렵습니다. 기존의 소프트웨어 기반으로 만들어진 모든 것들에 그냥 AI가 추가로 들어가는 식의 변화가 생기는 거예요. 저희는 특정 기업이 지배적으로 이 시장을 가져갈 수 있는 규모의 시장이 아니라고 봅니다. 지금은 그림 그려주고, 글 써주고 이런 정도의 AI를 보고 있지만, 이 정도에서 끝이 나지는 않을 거라고 생각합니다. 에어컨에 리모콘 달려 나오는 게 언제까지 갈까요? 방대한 컴퓨팅을 기반으로 한 사회의 변화는 이제 어떤 강을 하나 건넜다고 생각하고 있습니다.

말씀 감사합니다.

글. 바이라인네트워크
심재석 기자<shimsky@byline.network>