메타버스를 향한 메타의 AI 도전

마크 저커버그가 “해변으로 가자”고 말했다. 그 순간 그의 주변에는 해변이 펼쳐졌다. 그가 이어 테이블과 음료가 필요하다고 하자 그 역시 곧바로 나타났다. 저커버그는 “이 모든 것을 AI가 만들어냈다”고 말했다.

페이스북을 운영하는 ‘메타’가 23일 개최한 ‘인사이드 랩: 빌딩 포 더 메타버스 위드 AI(Inside the Lab: Building for the metaverse with AI)’ 행사의 한 장면이다. 인공지능(AI)이 저커버그의 말을 이해하고, 실행에 옮긴 것이다.

 

저커버그는 이 행사에서 메타버스에서 인공지능(AI)의 역할을 발표했다. 메타버스라는 새로운 세계에서 사람과 사람이 보다 쉽게 커뮤니케이션하고, 사람의 삶을 풍요롭게 하기 위해 AI의 역할이 중요하다는 것이 그의 생각이다.

그는 “현재 메타는 음성을 통해 메타버스 세계를 만들고 언어 간 번역을 개선하기 위한 AI를 개발 중”이라며 “인간과 같은 AI를 만드는 것이 목표”라고 말했다. 

메타는 이날 음성을 인식해 스스로 3D 사물을 구축하는 AI ‘빌더봇’ 데모 버전을 시작으로 다양한 AI 프로젝트를 발표했다.

 

프로젝트 가라오케 (Project CAIRaoke)

 

메타는 자연스러운 대화형 인공지능을 만들기 위한 ‘프로젝트 가라오케’를 소개했다. 프로젝트 가라오케는  AI 가상비서인 구글 어시스턴드나 애플 시리와 유사하다고 생각할 수 있다. 그러나 메타는 프로젝트 가라오케가 훨씬 진화된 가상비서라고 설명한다. 예를 들어, “엄마에게 전화오기 전에는 휴대폰을 무음으로 해줘”와 같은 명령을 현재의 AI 가상비서는 처리하지 못하지만 프로젝트 가라오케는 가능하다고 설명했다

메타는 기술 시연에서 한 가족이 스튜 요리를 하는 모습을 보여줬다. 소금을 넣으려 하자 AI 비서는 요리에 소금을 이미 넣었다고 경고했다. 또 소금이 떨어진 사실을 인지하고 주문을 했다.

메타는 ‘프로젝트 가라오케’에 대해 기기 기반 비서를 구축하기 위한 종단 간 (End-to-End)  신경 모델이라고 설명했다. 단일 서비스 내에 자연어 이해, 대화 상태 추적, 대화 정책 관리, 자연어 생성 4가지 요소를 결합했고 한다. 

저커버그는 “가상세계가 빠르게 변화해 메타버스를 위한 AI는 사람처럼 맥락을 이해해야 한다”고 말했다. 이미 자사 화상 채팅 ‘포털(Portal)’에 ‘프로젝트 가라오케’를 활용해 사용환경을 개선했다고도 밝혔다.

 

자기 지도 학습 활용

 

저커버그는 이를 위해 SSL(Self-Supervised Learning, 자기 지도 학습) 방식으로 새로운 생성 AI(Generative AI)모델을 개발 중이라고 전했다. 자기 지도 학습이란 사람이 만들어놓은 데이터가 아니라 가공되지 않은 데이터를 통해 학습, 더 높은 수준으로 자연스러운 결과물을 구현하는 AI를 의미한다. 저커버그는 가공된 데이터를 선별해 제공하는 일반 ‘지도 학습’ 방식으로는 메타버스를 위한 AI 학습이 어렵다고 설명했다. 또한 메타가 개발 중인 모델은 음성과 비디오를 학습하는 다른 기업들의 자기 지도 학습보다 수준이 높다고 설명했다.

이번 라이브에서 눈에 띄는 프로젝트 중 하나는 메타의 자동번역 AI 언어 프로젝트다. 저커버그는 기조 연설 중 “서부 아프리카에서 많은 사람들이 사용하는 언어 등 여러 언어들은 인터넷에서 제대로 사용하지 못한다”고 말했다. 메타는 전세계 20% 이상이 인터넷 번역을 사용할 수 없다고 추정하고 있다.

저커버그는 “모든 언어로 모두와 대화를 나눌 수 있는 능력은 사람들이 꿈꿔온 것이며 AI가 이를 실현할 것”이라고 밝혔다. 그는 이를 위한 두 개의 프로젝트를 소개했다.

하나는 ‘노 랭귀지 레프트 비하인드(No Language Left Behind)’로 더 적은 수의 예제를 통해 언어 번역을 배울 수 있는 AI 모델이다. 

또 다른 프로젝트는 모든 언어 간 통번역을 목표로 하는 ‘더 유니버셜 스피치 트랜스레이터(The Universal Speech Translator)’다. 현재 번역 방식은 제 2의 언어를 중개언어인 영어로 번역한 후 또 다른 언어로 번역하는 방법을 사용하지만 메타는 이번 프로젝트를 통해 중개언어 없이 한 언어를 다른 언어로 바로 통번역하겠다고 밝혔다. 

또한 메타는 이번 라이브에서 인재 영입의 의지도 내보였다. 현재 메타, 애플 등 테크 대기업 간에서는 메타버스와 관련된 개발자를 두고 치열한 인력 경쟁이 이어지고 있어 핵심 인재 영입이 중요한 시점이기 때문이다.

물론 저커버그는 메타버스를 위한 AI 모델 구축에 대해 “시간이 더 필요하다”고 강조하며 앞으로 오랜 시간이 걸릴 것이라는 사실을 분명하게 밝혔다. 그러나 그는 이번 행사에서 메타가 미래 메타버스 선두에 서겠다는 야심도 명확하게 내보였다.

글. 바이라인네트워크
<성아인 기자> aing8@byline.network