‘온프레미스’가 안전한 프라이빗 AI 지키는 열쇠라는 VM웨어

아무리 똑똑한 생성 인공지능(AI)이라도 민감한 정보를 맡기기엔 불안감이 클 수밖에 없다. 답변은 촘촘하게 받고 싶지만 정작 그 씨앗이 되는 데이터를 AI가 쥐고 있다면 유출에 대한 두려움이 뇌리에 스친다. 그래서 시장에서는 ‘프라이빗 AI’가 대두됐다. 거대언어모델(LLM)을 활용하는 것은 같지만, 내부 데이터만 활용해 보안은 지키고 애먼 거짓 정보를 내놓는 부작용을 막는 모델이다. 범용적으로 활용하기 위해 대규모 데이터를 학습시키는 기업 입장에서는 생성AI를 효과적으로 사용하기 위한 방안 중 하나가 된다.

올 상반기가 생성AI에 놀라움을 느낀 시기였다면, 하반기부터는 용도에 맞춰 사용하는 생성 AI 플랫폼이 시장의 화두가 됐다. 생성AI의 장단점은 이미 확인된 만큼 이제는 사용 목적에 맞는 방법론이 주목받는 모습이다.

VM웨어도 마찬가지다. 가상머신과 빅데이터 분야에서의 강점으로 프라이빗 AI 시장에 출사표를 냈다. 이미 널리 쓰이는 자사 솔루션의 익숙함을 바탕으로 온프레미스 데이터를 활용해 더 빠르고 쉬운 프라이빗AI 구현이 가능하다는 설명이다.

18일 여의도 콘래드호텔에서 열린 ‘VM웨어 프라이빗 AI & 빅데이터 서밋 2023’에서는 회사가 새로 개발한 프라이빗 AI 플랫폼의 청사진이 공개됐다.

VM웨어는 ‘프라이빗 AI 파운데이션 위드 엔비디아(Foundation with NVIDIA)’로 시장을 겨냥한다. AI모델 구동에 필수적인 그래픽처리장치(GPU)에 강점을 가진 엔비디아와의 파트너십을 바탕으로 더 빠르고 안전한 프라이빗 AI 구축을 지원한다.

플랫폼 형태로 구현해 메타의 ‘라마(LLaMa)2’, 오픈AI의 ‘GPT’ 등 시장의 다양한 LLM을 물려 온프레미스에 있는 데이터를 학습, 더 정확하고 안전한 기업용 생성AI를 만들 수 있다는 설명이다. 또한 허깅페이스에 올라와 있는 각종 오픈소스 LLM을 활용하는 것도 가능하다.

VM웨어가 방점을 찍은 건 온프레미스다. 킵 콜(Kip Cole) VM웨어 아시아태평양 및 일본 지역(APJ) 탄주(Tanzu)팀 총괄 부사장은 이날 “많은 고객이 생성AI는 온프레미스에 구축할 것이라는 이야기를 한다”며 “적어도 고객이 관리할 수 있는 범위 안에 구축할 것”이라고 진단했다.

민감한 데이터를 클라우드에 올리는 것에 대한 거부감과 함께 클라우드 전환을 위한 시간과 비용 부담이 있는 상황. 이러한 걱정 없이 기존 온프레미스 데이터를 바로 플랫폼을 통해 학습시키고 프라이빗 AI를 사용하는 게 가장 빠른 결과를 얻는 방법이라는 게 콜 사장의 말이다.

특히 VM웨어는 모델 구축 자체가 아닌 데이터 정리를 프라이빗 AI 구현의 장벽으로 본다. 콜 부사장은 “모델 자체는 빨리 만들 수 있지만, 이를 훈련시킬 데이터를 찾는 게 과제”라며 “적절한 데이터가 어디있는지 파악하는 데 애로 사항이 있다”고 말했다.

구조상으로 봐도 데이터가 가까운 데 있을수록 더 빠른 학습이 가능하다는 게 그의 말이다. 또 꼭 이러한 위치적 차원의 접근이 아니더라도 데이터에 대한 주권 측면에서 온프레미스가 훨씬 유리하다는 설명이다.

빅데이터 분석 플랫폼 ‘그린플럼(Greenplum)’과의 연계도 VM웨어의 프라이빗 AI 구축 전략에 지원군 역할을 한다. SQL 기반으로 비정형데이터까지 분석할 수 있는 그린플럼은 기업 프라이빗 AI를 학습하는 데도 도움을 준다.

그린플럼 7 버전은 인덱스와 유사성 검색을 위한 AI 기능을 추가해 방대한 양의 비정형 데이터를 관리할 수 있다. 이를 접목하면 별도의 데이터 분류 수고 없이 훨씬 비용이 절감되는 프라이빗 AI 구축에 나설 수 있다.

VM웨어는 한국을 세계 어느 국가 못지 않은 중요한 시장으로 본다. 박춘삼 APJ 영업 총괄은 “국내 기업들은 그린플럼을 분석 플랫폼으로 많이 사용하고 있다”며 “앞으로도 더 나은 가치를 전달할 수 있다고 확신한다”고 말했다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network