[그게 뭔가요] 피지컬AI 산업의 핵심이라는 ‘월드 모델’

“왕관두루미 한 마리가 맑은 황혼의 하늘 아래 눈밭을 걸어간다. 하늘빛은 부드러운 색의 그라데이션을 이룬다. 다큐멘터리 스타일의 자연스러운 색감으로 표현한다. 별똥별이 하늘을 가로지른다. 왕관두루미는 눈밭에 놓인 하얀 피아노로 다가간다. 왕관두루미는 건반을 누른다.”

구글딥마인드가 지난 10월 27일 공개한 월드모델 ‘지니4’ 시연 영상을 만들 때 쓴 프롬프트다. 지니4는 이용자가 문장으로 지시하면 그에 맞는 가상 세계를 실시간으로 만들어 내는 AI다. 영상에는 두루미가 건반을 누르는 장면과 함께 피아노 소리, 눈 밟는 소리도 담겼다. 지니4는 영상을 만들어 보여 주는 데 그치지 않고, 이용자가 키보드와 마우스로 가상 세계를 돌아다니며 날씨를 바꾸거나 인물을 추가하는 식으로 장면을 실시간으로 바꿀 수 있다.

이렇게 현실과 비슷한 장면이 나올 수 있었던 것은 개선된 월드 모델(World Model)의 성능 덕분이다.

월드 모델은 AI가 영상 같은 자료로 현실이 움직이는 방식을 배워, 지금 상태에서 어떤 행동을 하면 다음에 무슨 일이 벌어질지 미리 예측하게 하는 기술이다. 챗GPT 같은 언어 모델이 다음에 올 단어를 맞힌다면, 월드 모델은 다음에 벌어질 장면을 맞힌다고 볼 수 있다. 월드 모델의 성능이 부족하면 영상에서 새의 부리가 닿기도 전에 피아노에서 소리가 나거나, 부리가 건반을 뚫고 들어가는 모습이 나올 수 있다. 반대로 성능이 좋을수록 실제 영상처럼 움직임이 자연스럽고 현실적인 장면을 만들어 낸다.

로봇에게 월드 모델이 필요한 까닭

월드 모델은 피지컬AI 산업의 핵심 기술로 주목받고 있다. 로봇처럼 현실에서 움직이는 물제가 제대로 작동하기 위해서는 중력, 속도, 힘의 작용 같은 기본적인 물리법칙을 이해해야 하기 때문이다. 로봇 업계는 월드 모델을 크게 두 가지에 쓰는 연구를 하고 있다. 하나는 로봇이 학습할 데이터를 만드는 일이고, 다른 하나는 로봇이 실제로 움직일 때 행동을 정하는 일이다.

로봇은 실제로 움직여 모은 데이터뿐 아니라 가상 환경에서 만든 데이터로도 학습할 수 있다. 시뮬레이션이나 생성형 AI로 만든 이런 가상 데이터를 ‘합성 데이터’라고 한다. 합성 데이터가 현실과 비슷하고 품질이 높으면 로봇 성능도 좋아질 수 있으며, 월드 모델은 이 합성 데이터를 현실처럼 정교하게 만드는 역할을 한다.

로봇 학습용 가상 환경은 지금까지 주로 개발자가 중력, 마찰 같은 물리 규칙을 직접 입력한 시뮬레이션 프로그램으로 만들었다. 월드 모델은 이런 규칙을 사람이 입력하지 않고 AI가 자료에서 스스로 배운다는 점이 다르다. 대신 규칙을 계산해서 만드는 것이 아니라 학습한 패턴대로 그려 내기 때문에, 그럴듯해 보여도 물리적으로 맞지 않는 장면이 나올 수 있다.

라이아 해드셀 구글딥마인드 연구원은 10월 28일 한국어로 게시된 ‘지니4(Genie 4): 월드 시뮬레이션의 새로운 세대’ 기고에서 지니4와 구글의 AI 모델 ‘제미나이4 아르곤’을 결합한 실험을 진행했다고 밝혔다. 구글딥마인드는 이 실험에서 미국 로봇 기업 앱트로닉의 휴머노이드 로봇 ‘아폴로’가 체커를 두는 모습을 시뮬레이션했다. 사용자가 작업을 지시하면 제미나이4 아르곤이 이를 여러 단계의 행동으로 나누고, 지니4가 각 단계에 맞는 영상을 가상 세계에서 만들어 냈다.

구글딥마인드는 홈페이지에서 지니4를 소개하며 “현실에 더 가까운 환경에서 AI 에이전트를 훈련하고 시험하면, 실제 물리 세계에서도 성공적으로 활용하는 데 한 걸음 더 다가갈 수 있다”고 밝혔다. 다만 이번 체커 게임 시뮬레이션은 이런 가능성을 보여준 초기 실험이며, 이 영상으로 실제 로봇을 학습시킨 결과는 공개하지 않았다.

월드 모델은 로봇을 가르치는 데 그치지 않고, 로봇이 실제로 움직일 때도 쓰일 수 있다. 피지컬AI의 두뇌 역할을 하는 시각·언어·행동 모델(VLA)은 카메라로 주변을 보고 사람의 명령을 이해해 로봇이 할 행동을 정한다. 여기에 월드 모델을 더하면, 로봇이 어떤 행동을 했을 때 주변이 어떻게 달라질지 미리 예측하고 그 결과를 바탕으로 행동을 고를 수 있다.

예를 들어 로봇이 탁자 위의 유리잔을 집는다고 해 보자. 로봇은 유리잔의 위치를 알아본 뒤 손을 뻗어 집을 수 있다. 여기에 월드 모델이 더해지면 유리잔을 어느 위치에서 잡아야 하는지, 특정 방향으로 움직였을 때 유리잔이 기울거나 미끄러지지는 않을지 미리 예측한다. 로봇이 실제로 움직이기 전에 여러 동작의 결과를 가상으로 먼저 시험해 보는 셈이다.

엔비디아가 올해 1월 공개한 ‘코스모스 폴리시(Cosmos Policy)’는 월드 모델로 로봇의 행동을 정하는 사례다. 코스모스 폴리시는 로봇이 할 행동뿐 아니라 그 행동 뒤에 상황이 어떻게 달라질지, 목표를 얼마나 이룰 수 있을지까지 예측한다. 덕분에 로봇은 현재 상황에 맞는 행동을 바로 만들어 내거나, 여러 행동의 예상 결과를 비교해 목표를 이룰 가능성이 높은 동작을 고를 수 있다.

월드 모델의 한계, 현실과의 차이와 쌓이는 오류

다만 월드 모델에는 한계도 있다. 대표적인 것이 시뮬레이션과 현실의 차이, 이른바 ‘심투리얼 갭(Sim-to-Real Gap)’이다.

월드 모델이 현실과 비슷한 영상을 만들어 내더라도 실제 물리법칙을 완벽하게 재현한다는 보장은 없다. 유리잔을 집는 로봇의 경우, 가상 환경에서는 안정적으로 유리잔을 들어 올리더라도 현실에서는 유리잔의 무게, 표면의 마찰력, 손가락이 가하는 힘이 달라 떨어뜨릴 수 있다. 가상 환경에서 학습한 로봇이 현실에서는 같은 성능을 내지 못할 수 있다는 뜻이다.

또한 월드 모델은 예측하는 시간이 길어질수록 오류가 쌓일 수 있다. 구글딥마인드도 지니4가 아직 초기 연구 단계의 모델이며, 시뮬레이션이 길어지거나 복잡한 지시가 반복되면 물체의 모습이나 위치가 달라질 수 있다고 설명했다. 복잡한 물리 현상을 정확하게 구현하는 것도 여전히 풀어야 할 과제다.

글. 바이라인네트워크
<오민선 기자> omsoms94@byline.network