[그게 뭔가요] 영상 하나로 로봇이 배운다? 스킬드AI의 방법론
미국 로봇 스타트업 스킬드AI(Skild AI)가 지난 18일 공개한 블로그에 흥미로운 장면이 담겼다. 사람이 화분을 옮겨 심는 영상을 딱 한 번 찍었다. 11분 뒤 로봇 팔이 스스로 화분을 옮기고, 흙을 파고, 식물을 심었다. 이 로봇은 화분 심기라는 작업을 그전까지 훈련받은 적이 없다고 한다.
스킬드AI가 최근 공개한 로봇 파운데이션 모델 ‘S1’의 시연 사례다. 이 회사는 “영상을 한 번 보여주면, 로봇이 재훈련 없이 바로 따라 한다”고 설명했다. 지금까지 로봇에게 새 작업 하나를 가르치려면 수십에서 수백 시간의 데이터를 모으고, 그 데이터로 모델을 다시 훈련시켜야 했다. S1은 이 과정을 통째로 건너뛰겠다고 주장한다.
배경에는 로봇 산업의 오래된 딜레마가 있다. 공장, 물류창고, 식당, 가정마다 필요한 작업은 제각각이다. 이 모든 조합의 데이터를 사전에 다 모아 하나의 모델에 학습시키는 건 현실적으로 불가능하다. 현장 요구는 매일 달라지고 새 작업은 끊임없이 생기는데, 그때마다 데이터 수집과 재훈련, 검증을 반복해야 한다면 로봇은 끝없이 변화하는 환경을 따라잡을 수 없다. 그 대신 로봇도 사람처럼, 시연 하나를 보고 새 행동을 익혀야 한다는 게 이 회사의 결론이다.
이런 접근이 가능하다고 보는 근거는 언어모델의 역사에서 나온다. 구글의 BERT(2019)는 문장을 이해하는 데는 뛰어났지만, 새로운 작업을 시킬 때마다 추가 데이터로 재훈련(파인튜닝)해야 했다. 반면 GPT-3부터는 사정이 달라졌다. 모델을 다시 훈련시키지 않아도, 프롬프트 안에 몇 가지 예시만 넣어주면 그 자리에서 새로운 규칙을 응용했다. 이걸 인컨텍스트 러닝(in-context learning, ICL)이라 부른다. 챗GPT가 사람처럼 대화할 수 있게 된 배경에도 이 능력이 있다.
예를 들어 챗GPT로 글을 쓸 때 “숫자는 만 단위로 끊어서 한글을 넣어”라고 지시하면, 모델을 다시 훈련시키지 않고도 그 순간부터 지시를 따라 글을 쓴다. 프롬프트 속 지시 하나만으로 그 자리에서 규칙을 캐치해내는 것이다.
스킬드AI는 로봇공학이 아직, 새 작업마다 재훈련이 필요했던 BERT(GPT 이전의 언어모델) 시절의 방식에 머물러 있다고 진단한다. 피지컬 AI 모델에도 GPT-3식 전환이 필요하다는 것이다. 언어모델의 프롬프트 자리에 ‘영상 시연’을 놓고, 로봇은 그 영상 속 의도와 절차를 읽어내 자기 몸에 맞게 재현하겠다는 생각이다.
새로운 현장, 새로운 작업이 생길 때 피지컬 AI 모델을 추가로 재훈련시키지 않고, 영상 하나를 프롬프트처럼 넣어주는 것만으로 대응할 수 있다는 것이다.
피지컬 AI 모델을 이런 방향으로 진화시키는 건 스킬드AI만이 아니다. 2026년 상반기부터 비슷한 시도가 동시다발적으로 나오고 있다.
엔비디아 연구팀은 휴머노이드 모델 GR00T N1.7을 기반으로 ‘RoboTTT’를 발표했다. 로봇이 실행 도중 실시간으로 얻는 경험을 즉석에서 반영하도록 만든 모델이다. 로봇 스타트업 제너럴리스트AI도 최근 공개한 모델 ‘GEN-1.5’에서, 3~12초 분량의 시연 하나만으로 새 작업을 파인튜닝 없이 수행한다고 밝혔다.
스킬드AI 블로그에 따르면, 사전학습 데이터를 10만 시간까지 늘렸을 때 이런 차이가 났다. 말로만 지시받은 로봇은 한 번도 학습한 적 없는 작업에서 성공률이 9%에 그쳤다. 반면 영상으로 시연받은 S1은 66%를 기록했다. 영상 시연 한 번이 기존 방식의 파인튜닝 데이터 약 380개와 맞먹는 효과를 낸다는 계산도 내놨다. 로봇을 일일이 조종해 데이터를 만드는 일은 사람이 몇 시간씩 붙어야 하는 작업이라, 영상 1개와는 비교가 안 되는 수고가 드는 셈이다.
스킬드AI는 2023년 카네기멜런대 교수 출신 디팍 파탁(Deepak Pathak), 아비나브 굽타(Abhinav Gupta)가 공동 창업했다. 올해 1월 소프트뱅크 주도로 14억달러(약 1조9000억원) 규모 시리즈C를 유치하며 기업가치 140억달러(약 19조4000억원) 이상을 인정받았다. 엔비디아, 베조스 익스페디션스, LG 등이 투자자 명단에 있다.
글. 바이라인네트워크
<심재석 기자>shimsky@byline.network
