메타, 라마 모델 공개 원칙 버리나

메타 초지능연구소와 알렉산드르 왕, 라마4 베헤모스 폐기 논의

메타가 라마4 모델의 최상급 버전인 ‘베헤모스(Behmoth)’ 폐기를 논의했다는 보도가 나왔다. 고급 대형언어모델(LLM)을 개발해 외부에 공개해온 메타의 AI 전략이 180도 바뀔 지 모른다.

14일 뉴욕타임스는 메타의 새로운 최고 AI 책임자 알렉산드르 왕과 메타 초지능연구소의 고위 임원 그룹이 지난주 폐쇄형 모델 개발을 위해 오픈소스 AI 모델인 베헤모스 폐기를 논의했다고 보도했다.

메타는 2023년부터 LLM ‘라마(llama)’를 오픈웨이트로 공개해왔다. 지난 4월 최신 버전인 라마4를 공개했다. 메타는 라마4의 모델을 매개변수 규모와 성능에 따라 ‘베헤모스’, ‘매버릭’, ‘스카우트’ 등으로 구분했다. 그러면서 매개변수 400B 규모인 매버릭과, 매개변수 109B 규모인 스카우트만 공개하고, 매개변수 2조개 규모의 프론티어급 모델인 베헤모스를 추후 공개하겠다고 밝혔었다.

하지만 라마4 베헤모스는 편법 벤치마크 테스트 시비에 휘말렸다. 베헤모스의 성능이 목표치에 도달하지 못해 출시가 연기됐다는 보도도 나왔다.

메타의 생성형 AI 개발조직은 베헤모스의 데이터 학습을 지속해왔다. 하지만 지난달 메타의 초지능연구소가 새로 구축되면서 베헤모스 개발팀의 신규 테스트 진행이 중단됐다고 한다.

뉴욕타임스는 아직 마크 저커버그 메타 CEO의 최종 결정은 내려지지 않았다고 전했다.

베헤모스 폐기가 결정되면, 메타 라마 모델의 LLM 분야 영향력은 대폭 줄어들 수 있다. 그동안 많은 AI 기업과 연구소에서 라마를 변형한 LLM을 만들어왔다. 중국으 딥시크도 라마를 기반으로 만들어졌다.

메타가 라마의 공개 방침을 완전히 철회할 지는 확실하지 않다. 프론티어급 모델만 폐쇄형으로 개발하고, 중견급 모델만 공개할 가능성도 있다.

메타가 라마 개방 정책을 폐기하면, 그동안 생성형 AI 생태계에서 상용 폐쇠형 모델 한쪽에 구축돼온 개방형 모델 진영이 큰 타격을 받게 될 전망이다. 메타는 라마 모델의 소스코드와 학습데이터를 제외하고 가중치만 공개하는 ‘오픈웨이트’ 전략으로 개방형 AI 모델 생태계를 주도해왔다. 라마는 허깅페이스에서 다운로드 받거나, 퍼블릭 클라우드 사업자의 호스팅 서비스로 이용할 수 있다.

라마는 오픈소스 AI 조건을 충족하지 못해 ‘오픈 워싱’ 시비를 겪기도 하지만, 모든 정보를 공개하지 않는 상용 모델보다는 산업계와 학계에 이롭다는 평가를 받아왔다. 상용 모델에 값비싼 비용을 지불하지 않고 그에 준하는 성능의 LLM을 무료로 활용할 수 있다는 점에서다.

가중치와 편향 정보, 훈련 코드, 체크포인트, 훈련 데이터세트, 훈련 데이터 구성 등을 모두 공개하는 경우 오픈소스 AI 모델로 분류할 수 있다.

오픈소스이니셔티브(OSI)에서 규정하는 ‘오픈소스 AI’ 정의에 부합하는 LLM은 Eleuther AI의 피티아(Pythia), AI2의 OLMo, LLM360의 Amber and CrystalCoder, 구글의 T5 등이다. 빅사이언스의 BLOOM, 빅코드의 Starcoder2, TII의 Falcon 등은 라이선스 정책 변경 조건 하에서 오픈소스 AI로 분류 가능한 것으로 평가된다.

OSI는 메타의 라마, xAI의 그록, 마이크로소프트의 파이, 미스트랄AI의 믹스트랄(Mixtral) 등을 오픈소스 AI 정의에 부합하지 않는다고 규정하고, ‘오픈웨이트’ 모델로 분류한다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network