“AI 판도 6개월마다 변한다” AI 기술 리더가 짚은 생존 전략
“과거 10년 주기로 일어났던 컴퓨팅 기술의 수렴과 발산 사이클이 인공지능(AI) 시대에 접어들며 불과 6개월 단위로 극단적으로 짧아졌습니다. 오픈AI나 구글 같은 글로벌 빅테크들이 반도체 칩 설계부터 거대언어모델(LLM), 애플리케이션(앱) 서비스까지 전방위적으로 진출하는 복잡한 시장에서 생존하려면, 결국 자신의 주력 분야를 넘어 위아래 모든 기술 레이어의 작동 원리를 꿰뚫고 사업 영역을 확장해야만 합니다.”
김준기 래블업 최고기술책임자(CTO)는 29일 서울 강남구 코엑스 컨퍼런스룸에서 열린 래블업 기술 컨퍼런스에서 급변하는 AI 생태계 속 기업들이 직면한 과제와 생존 전략을 이같이 진단했다.
이날 ‘AI 병목을 해결하는 인퍼런스 최적화’를 주제로 열린 컨퍼런스에서 AI 산업의 변화에 대응하기 위한 기술적 과제와 인프라 최적화 방안 등이 논의됐다.
노정석 비팩토리 대표가 좌장을 맡았고, 김준기 CTO를 비롯해 김태호 노타 CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO까지 AI 업계를 대표하는 각 분야 기술 리더들이 참석했다. 이들은 AI 인프라를 소프트웨어처럼 자유롭게 조합·구성하는 미래를 전망하고, 산업 간 경계가 허물어지는 상황에서 나타나는 실제 병목 현상과 차별화 전략을 공유했다.
노 대표는 글로벌 오픈AI와 구글 등 거대 빅테크들이 칩 설계부터 인프라, LLM, 앱 영역까지 전방위적으로 확장하는 현상을 첫 화두로 제시했다.
이활석 CTO는 “매출을 내야 하는 입장에서 시장을 보면 인접 레이어로 확장을 시도할 수밖에 없는 압박을 받는다”며 기업간거래(B2B)로 시작한 업스테이지가 다음 인수를 통해 기업대개인(B2C)과 앱으로 넓혀가는 배경을 설명했다. 이어 그는 에이전트 시대에 사랑받는 모델을 구축하려면 대규모 사용자의 정밀한 피드백을 받을 수 있는 플레이그라운드 확보가 필수적이라고 강조했다.
이진원 CTO는 구글에 이어 여러 빅테크가 추론 시장의 비용 절감을 위해 자체 칩을 생산하며 탈 엔비디아를 시도하는 흐름을 짚었다. 엔비디아 역시 소프트웨어를 오픈소스로 풀며 진입장벽을 낮추고 자사 그래픽처리장치(GPU) 판매를 늘리려는 전략을 취하는 상황이며, 하드웨어 성능 자체로 경쟁할 수 있는 시장이 열리면서 쿠다의 해자가 점차 사라지고 있다고 분석했다. 쿠다는 엔비디아가 개발한 병렬 컴퓨팅 플랫폼 및 프로그래밍 모델로 GPU를 활용해 AI나 복잡한 연산을 초고속으로 처리할 수 있게 해주는 핵심 소프트웨어 기술이다.
김태호 노타 CTO는 최상위 지능 시장을 오픈AI와 구글 등 빅테크가 선점하고 있으나, 결국 완전한 독점 체제로 굳어지지는 않을 것이라고 진단했다. 그는 “데이터 반출이 제한되는 기업의 보안 이슈나 비용 절감 목적, 특정 업무에 맞춰 에이전트를 구축하려는 수요 등 주권과 보안 문제로 인해 인공지능 생태계는 굉장히 다양하게 파편화될 것”이라고 관측했다. 또 수요가 다변화되는 시장 환경 속에서 노타는 모델과 반도체 사이를 연결하는 최적화 본연의 역할에 집중하고, 빠르게 쏟아지는 AI 모델들 사이의 간극을 메우기 위해, 두 영역을 손쉽고 호환성 좋게 맞물려 구동 효율을 높이는 연구 개발을 이어가겠다고 덧붙였다.
김준기 CTO는 고객의 요구가 단순한 학습 인프라 구축을 넘어 머신러닝운영(MLOps) 자동화와 AI 전환(AX) 레벨까지 높아졌다고 평가했다. 그는 “단순히 백엔드 AI를 설치만 해주는 것으로 고객의 모든 가치를 전달할 수 있는 시대는 이미 지났다”며, 결국 고객에게 제대로 된 가치를 전달하려면 미들웨어 회사도 핵심 수익원이 아니더라도 위아래 레이어의 기술을 모두 파악하는 컨설팅 역량을 갖춰야만 한다고 설명했다.
이어진 기술적 병목에 관한 논의에서 각 CTO는 현장에서 겪는 한계와 과제를 설명했다.
이활석 CTO는 강화학습(RL)을 위한 합성 데이터 파이프라인 생성을 최대 난제로 꼽았다. 프론티어 모델 성능이 일반 전문가를 뛰어넘은 상태라, 추가 지능 향상을 위해서는 일반인도 못 푸는 문제의 풀이 궤적 데이터를 인위적으로 합성해 내야 한다. 풀이 궤적 데이터는 AI가 단번에 정답을 내는 것이 아니라, 최종 결론을 도출하기 위해 거치는 단계별 논리 전개와 중간 추론 과정을 상세히 기록한 학습 데이터다.
다만 이를 위해 샌드박스를 구축하고 추론을 동시 진행하려다 보니 막대한 중앙처리장치(CPU)와 GPU 자원이 소모된다. 그는 “RL을 제대로 하려면 인프라와 모델은 물론 도메인 지식까지 갖춰야 하고, 고가의 GPU를 효율적으로 쓰기 위한 역량까지 집결된 인력이 필요하다”며 “현실적으로 이런 복합적인 조건을 갖춘 사람이 매우 부족한 상황”이라고 토로했다.
이진원 CTO는 위탁생산화 되어가는 메모리의 다변화 수요와 긴 개발 주기를 하드웨어단의 한계로 지목했다. 고대역폭메모리(HBM)나 3차원(3D) 적층 등 고객 맞춤형 수요는 넘쳐나지만, 칩을 기획하고 실제 양산하기까지 최소 3년이 소요된다. 그는 “오늘 다음 칩을 만들겠다고 하면 3년 뒤 세상이 어떨지 예상하고 만들어야 하는 엄청난 병목”이라며, 폭발적으로 변하는 AI 소프트웨어 속도 대비 인프라 주기가 너무 길어 산업 발전을 더디게 만들 수 있다는 우려를 표했다.
김태호 CTO는 모델이나 커널 단위의 최적화를 넘어 이제 주안점이 에이전트 레이어로 수직 상승했다고 밝혔다. 그는 “요즘에는 연구의 주안점이 훨씬 더 위로 쭉 올라가 에이전트 레이어로 향했다”며 “에이전트를 정말 효율적으로 만들기 위해 자원을 얼마나 적게 쓸 수 있는지, 이 운영의 묘가 효율성을 판가름 짓는다”고 설명했다. 다만 에이전트가 어떤 워크로드로 작동하는지 파악하고 자원을 줄이는 기법이 아직 초기 단계이며, 성능 품질을 측정할 평가 데이터셋조차 제대로 갖춰지지 않은 점을 꼬집었다.
김준기 CTO는 끝없이 생겨나는 밑단의 하드웨어와 윗단의 워크로드를 연결하는 과정에서 발생하는 N 곱하기 M 조합의 테스트 부담을 토로했다. 그는 “밑에도 무한히 늘어나고 위에도 무한히 늘어나면 조합의 개수가 너무 많아지는데, 이를 다 검증하고 커버해야 하는 것 자체가 미들웨어 개발 입장에서는 엄청난 병목”이라고 짚었다. 더욱이 “하드웨어 제조사들이 API를 제대로 풀어주지 않으면 단독으로 해결하기 어려운 부분이 있다”며, 워크로드 단위의 에너지 사용량과 리소스 점유율 등 정밀한 매트릭을 소프트웨어적으로 통제하는 데 제약을 받고 있다고 아쉬움을 남겼다.
막대한 자본이 투입되는 범용 AI 시장에서 각 기업만의 고유한 방어막인 해자(Moat)를 묻는 노 대표의 질문에 참석자들은 차별화된 전략들을 제시했다.
이활석 CTO는 범용 AI 모델과 차별화할 수 있는 특화 도메인 공략의 중요성을 강조했다. 그는 “범용성 측면에서 프론티어 기업들을 당장 따라가기는 어렵지만, 세밀하게 들어가면 여전히 개척할 길이 남아 있다”며 법률·문서 분야의 예외 처리 역량을 차별점으로 꼽았다. 이어 미국 리걸테크 기업 하비가 공개한 벤치마크에서 프론티어 모델의 점수가 10퍼센트 미만에 그쳤다며 고난도 특화 분야의 가능성을 설명했다. 또한 일본 지사에서 고양이 그림이 삽입된 특이한 영수증처럼 예측하기 어려운 문서 유형을 처리하는 데 어려움을 겪은 사례를 소개하며, 이 같은 롱테일 문서에 대응할 자체 데이터셋 생성 역량이 업스테이지의 핵심 경쟁력이라고 밝혔다.
김준기 CTO는 LLM의 발전으로 아이디어와 설계도만 있으면 누구나 소프트웨어를 쉽게 만들 수 있는 시대가 올 것으로 전망했다. 그는 “이제는 소프트웨어를 개발해 테스트하고 패키징해서 파는 시대가 아니라, 말하고 요청하는 순간 곧바로 작성돼 돌아가는 세상이 될 것”이라고 말했다. 이어 소프트웨어를 저렴하고 빠르게 복제할 수 있는 환경에서도 미들웨어 솔루션의 경쟁력은 브랜드와 신뢰에서 나온다고 강조했다. 다양한 프로덕션 환경과 사용자 시나리오에서 검증한 경험, 장애 발생 시 책임지는 사후관리와 고객 대응 역량이 차별화 요소라는 설명이다.
김태호 CTO는 AI의 자체 최적화 능력이 빠르게 발전하고 있지만, 전문가의 최적화 기술을 대체하기는 어렵다고 진단했다. 그는 “오픈소스 모델들이 자체 최적화를 거친다 해도 품질 측면에서는 전문가의 손길을 거친 것에 못 미친다”며 “새로운 워크로드와 아키텍처에 대응하는 최적화 기술은 쉽게 만들어낼 수 없는 만큼 노타가 축적한 버티컬 노하우가 차별화된 경쟁력”이라고 말했다.
이진원 CTO는 엔비디아가 주도하는 시장에서 기존 장비를 교체할 유인으로 비용 절감을 꼽았다. 하이퍼엑셀은 고가의 HBM 대신 DDR 메모리를 적용해 자사 칩 ‘베르다’에 192기가바이트(GB)의 메모리를 탑재했다. 또 그는 속도와 용량, 전력 등 모든 성능 지표에서 앞서기보다 비용 효율성에 집중하는 전략을 택했다고 설명했다. 실시간 응답이 중요한 서비스에서는 대역폭이 높은 경쟁사 칩이 유리할 수 있지만, 구글 지메일 요약처럼 백그라운드에서 대용량 데이터를 처리하는 영역에서는 자사의 가격 경쟁력이 강점이 될 것이라고 전망했다.
엔비디아와 AMD 등 여러 종류의 AI 반도체를 함께 사용하는 이기종 환경의 과제도 이날 함께 논의됐다. 노 대표의 관련 질의에 이활석 CTO는 실제 모델 운영과 최적화 경험을 바탕으로 현장의 어려움을 설명했다.
이활석 CTO는 자사 모델을 오픈라우터에 연동해 운영한 사례를 소개하며, 엔비디아와 AMD 등 여러 벤더의 칩이 혼재된 환경에서는 범용 최적화 기법만으로 성능을 높이는 데 한계가 있다고 밝혔다. AMD 엔지니어 6명과 업스테이지 인력이 함께 최적화 작업을 진행한 결과, 실제 트래픽 패턴과 모델 구조를 세밀하게 파악해야 성능을 개선할 수 있었다는 설명이다. 특히 앱에서 어떤 전문가 모델이 활성화되는지 등 구체적인 정보가 칩 설계 단계까지 공유돼야 한다고 강조했다.
김준기 CTO는 다양한 AI 반도체와 고객 수요를 연결하는 미들웨어 관점에서 워크로드별 자원 사용량을 정확하게 측정하는 것이 중요하고, 여러 작업이 하나의 칩을 공유할 경우 각 워크로드의 전력 소비량과 자원 점유율을 구분해 파악하기 어렵다고 덧붙였다. 또 그는 하드웨어 제조사가 내부 응용프로그램 인터페이스(API)를 공개하지 않으면 미들웨어 차원에서 자동화된 최적화를 구현하기 어렵다고 지적했다. 이어 이기종 기기 간 표준화와 협력 체계를 구축하려면 기술 개발뿐 아니라 기업 간 협의와 파트너십도 필요하다고 부연했다.
2년 후 AI 산업의 미래에 대해 패널들은 서로 다른 시각을 보였다. 이진원 CTO는 기술 구조의 극단적 변화로 인해 “AI를 위한 AI 인프라와 사람을 위한 인프라가 완전히 양분될 것”으로 전망했고, 이활석 CTO는 “과도한 업무 스트레스가 해소되고 AI와 인류가 행복하게 공존하는 시점이 되길 바란다”며 기술 안정화를 기원했다.
김태호 CTO는 파편화된 기술 혼란이 잦아들면서 기업들이 자신만의 확고한 영역을 찾아 다변화된 시장을 구축할 것이라고 예측했으며, 김준기 CTO는 “AI가 단순 코드를 넘어 사용자 인터페이스(UI)와 시스템 로직을 스스로 창조할 것”이라며 현재의 고정된 플랫폼을 초월하는 전혀 다른 차원의 인프라 대응 시대가 열릴 것이라고 전망했다.
글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network
함께 보면 좋은 자료
