메타 “차세대 LLM 아보카도, 가장 유능한 사전학습 모델”

메타가 차세대 대규모 언어 모델(LLM) ‘아보카도’의 사전 학습을 완료했는데 “메타 역사상 가장 유능한 사전 학습 기본 모델”이라고 자체 평가한 것으로 전해졌다.

디인포메이션이 입수한 내부 메모에 따르면, 아보카도는 아직 미세조정 등의 최적화 단계를 거치지 않았음에도 불구하고 주요 오픈소스 기본 모델들을 능가하는 성능을 보이고 있다. 특히 지식, 시각 인식, 다국어 성능 면에서 이미 사후 학습을 완료한 선도적인 모델들과 경쟁할 수 있는 수준에 도달했다는 평가다.

사전 학습은 AI 모델이 방대한 데이터셋을 통해 일반적인 지식과 패턴을 학습하는 초기 개발 단계로, 이후 특정 작업에 맞춰 세부 조정하는 최적화가 이뤄진다.

내부 메모에서 메타는 아보카도가 이전 모델인 라마(Llama) 4 매버릭 대비 텍스트 작업에서 10배의 컴퓨팅 효율성 향상을 달성했다고 밝혔다. 메타는 2026년 1분기 아보카도 출시를 목표로 하고 있다.

아보카도 개발은 메타 AI 전략의 근본적인 전환을 상징한다. 그 배경에는 지난 4월 출시된 라마4의 참담한 실패가 있다. 당시 메타가 발표한 벤치마크 결과에서 라마4 매버릭은 GPT-4o와 제미나이 2.0 플래시를 압도하며 1위를 기록했다. 하지만 실제 성능이 벤치마크 결과와 크게 다르다는 비판에 직면했다.

메타는 결국 벤츠마크에 제출한 모델이 실제 배포용 모델이 아님을 시인했다. 메타의 AI 수석 과학자였던 얀 르쿤도 이를 인정했다. 실제 일반 버전을 다시 테스트한 결과, 전 세계 2위였던 순위가 32위까지 급락했다.

마크 저커버그 CEO는 이같은 조작에 큰 화를 내며 생성형 AI 조직 전체를 물갈이 한 것으로 전해졌다. 스케일 AI 창업자 알렉산드르 왕을 영입하는 데 143억 달러를 투자한 것도 이 맥락이다. 깃허브의 전 CEO 냇 프리드먼, 챗GPT 공동 개발자 션지아 자오 등도 메타에 합류했다

더욱 주목되는 변화는 메타의 오픈소스 전략 전환이다. 그동안 메타는 라마 시리즈를 무료 오픈소스로 배포하며 생태계 확장에 주력해 왔다. 그러나 아보카도는 이와 달리 폐쇄형모델로 출시될 가능성이 높은 것으로 전해진다.

전략 전환의 계기 중 하나는 중국 AI 랩 딥시크가 라마 아키텍처 일부를 활용해 R1 모델을 개발한 사건이다. 메타 내부에서는 이를 두고 많은 이들이 불쾌감을 표시했고, 오픈소스의 위험성을 재인식하게 됐다고 전해진다.

저커버그는 지난해 7월 “우리는 이러한 위험을 완화하는 데 엄격해야 하고, 무엇을 오픈소스로 공개할지 신중해야 한다”고 밝힌 바 있다.

저커버그는 지난 1월 실적 발표에서는 “앞으로 몇 달간 최신 AI 모델들을 출시할 것”이라며 “첫 모델들이 좋을 것으로 기대하지만, 더 중요한 것은 우리가 얼마나 빠른 궤도에 있는지 보여줄 것”이라고 강조했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network