약진하는 ‘오픈소스 LLM’…AI 신사업 도우미 역할도

계속되는 생성 인공지능(AI) 열풍 속 거대언어모델(LLM) 시장도 변화를 맞이하고 있다. 지난해 상반기 오픈AI가 챗GPT의 기반이 되는 GPT로 LLM의 가능성을 알렸다면, 하반기부터는 후발주자들이 공개한 오픈소스 모델의 약진이 이어지고 있다.

오픈소스 LLM의 약진은 생각보다 매섭다. 내로라하는 기업들이 연합체를 결성해 시장 확산을 꾀하는가 하면 신사업을 꾸리는 데도 오픈소스 LLM이 힘을 보탠다. 다양한 오픈소스 모델의 등장으로 LLM 시장은 제2막에 돌입했다는 게 시장의 대체적인 시각이다.

신호탄을 쏜 건 메타의 ‘라마(LLaMa)2’다. 지난해 여름 공개된 라마2는 파라미터(매개변수) 규모 70억, 130억, 700억개 등 3가지 버전으로 출시됐다. 라마2는 누구나 자유롭게 사용할 수 있는 오픈소스의 장점으로 금세 반향을 일으켰다.

우리나라 기업부터 라마2를 활용해 성과를 냈다. 스타트업 업스테이지가 만든 LLM ‘솔라(Solar)’는 라마2가 뼈대다. 라마2를 파인튜닝한 솔라는 머신러닝 플랫폼 ‘허깅페이스’의 오픈소스 LLM 리더보드에서 GPT-3.5 모델보다 앞선 벤치마크 성능을 기록했다. 바꿔 말하면 자본이나 원천 기술이 다소 떨어지더라도 오픈소스 LLM을 잘만 활용하면 충분히 성능 좋은 모델을 만들 수 있다는 의미다.

메타의 뒤를 이어 다른 IT 기업들도 오픈소스 LLM 시장에 출사표를 냈다. 알리바바클라우드는 지난해 8월 오픈소스 LLM ‘Qwen-7B’을 출시한 데 이어 같은 해 12월에는 ‘SeaLLM’을 내놨다. SeaLLM은 흥미로운 모델이다. 베트남어,인도네시아어, 태국어 등 동남아시아 현지 언어에 특화했다는 설명이다. 해당 언어 프롬프트를 더 정확하게 이해하도록 설계했다. 130억개 또는 70억개 파라미터 두 개 버전으로 모델 무게는 줄이는 대신 현지 언어 특화에 초점을 맞췄다.

19일에는 카카오도 오픈소스 LLM을 내놨다. 다른 모델과 다른 건 ‘멀티모달(Multimodal)’을 접목한 점이다. 이미지와 텍스트를 모두 인식할 수 있다. 예를 들어 어떤 사진을 주고 이에 대한 질문을 던지면 이미지와 텍스트 프롬프트를 함께 반영해 답을 내놓는 형태다. 카카오브레인 측은 “멀티모달 언어모델의 발전에 기여하고자 자체 개발한 허니비의 소스코드를 깃허브에 공개하고 있다”고 밝혔다.

오픈소스는 LLM 시장 후발 주자의 약점을 극복하는 데도 도움이 된다. 메타는 IBM을 비롯해 AMD, 인텔, 델테크놀로지스, 오라클 등의 기업, 코넬대, 도쿄대 등 학계, 내셔널과학재단(NSF), 미국 항공우주국(NASA) 등 50여곳이 참여하는 ‘AI 얼라이언스’를 결성했다.

내로라하는 기업과 기관이 함께 오픈소스 생태계를 꾸리고 기술 발전 속도를 끌어올리겠다는 목표다. 많은 개발자가 오픈소스 LLM 생태계에 참여할 수록 기술 발전은 자연스레 따라온다. 장기적으로는 해당 LLM의 영향력을 높이는 효과가 있다.

또한 오픈소스 LLM은 쉽게 AI 관련 사업을 펼칠 수 있는 도우미 역할까지 한다. 우리나라 보안기업 파수가 대표적이다. 1분기 중 ‘파수 엔터프라이즈 LLM’의 출시를 목표로 막바지 개발 작업을 진행하고 있다.

보안 기업이지만 오픈소스를 바탕으로 한 LLM을 만들어 AI 분야까지 보폭을 넓힌다. 메타의 라마2를 파인튜닝해 모든 산업군을 아우르는 LLM을 만들 거라는 게 회사의 설명이다. 보안을 넘어 범용성 높은 LLM을 개발해 AI 기업으로 도약한다는 포부다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network