손병희 마음AI 대표 (출처=바이라인네트워크)
|

로봇에게도 ‘학교’가 필요하다…마음AI가 데이터팩토리를 연 이유

로봇이 배울 데이터를 구하기 어렵다는 점은 피지컬AI 업계에서 공통으로 나오던 지적이다. 피지컬AI는 글과 이미지를 학습하는 대규모언어모델(LLM)보다 훨씬 다양한 데이터가 필요해 모으는 일부터 쉽지 않다. 게다가 데이터를 어떻게 모으고 분류할지에 대한 기준도 아직 정해지지 않았다.

피지컬AI 데이터를 다루는 사람들은 아무도 답을 모르는 이 영역의 변화를 가장 먼저 겪고 있다. 바이라인네트워크는 로봇 학습에 쓰는 데이터를 모으고 다듬는 기업과 대학, 연구기관의 이야기를 연재로 전한다. [편집자주]

[2026 피지컬AI 데이터를 모으는 사람들 ①마음AI] 피지컬AI 데이터 협력의 중심에 서다

로봇에게도 일을 배울 ‘학교’가 필요하다. 마음AI는 이런 생각으로 지난 3월 판교 본사에 피지컬AI 데이터팩토리를 열었다. 이 회사는 한 로봇이 쌓은 경험을 다른 로봇도 쓸 수 있도록 로봇 학습 데이터의 기록 방식을 통일해야 한다고 생각한다.

지난 10월 30일 마음AI의 데이터팩토리를 방문했다. 데이터팩토리는 엔비디아의 시뮬레이터 아이작 심(Isaac Sim)으로 데이터를 모으는 공간, 관제 공간, 실증 공간, 로봇 체험 공간 네 곳으로 나뉘어 있었다. 이날도 계약을 맺은 협력사가 시설을 이용해 로봇 학습에 쓸 데이터를 모으고 있었다.

마음AI 피지컬AI데이터팩토리 (출처=바이라인네트워크)

챗GPT 같은 생성형 AI는 인터넷에 쌓인 글과 이미지로 학습할 수 있지만, 로봇이 물건을 집고 장비를 다루고 장애물을 피하는 움직임에 대한 데이터는 인터넷에 많지 않다. 로봇이 직접 몸을 움직여 배울 수 있는 데이터가 필요한 이유다.

이날 한 로봇 기업은 사람이 조종하는 대로 움직이는 양팔 로봇 ‘알로하(ALOHA)’로 ‘펭귄 얼음 깨기’ 시연 데이터를 모으고 있었다. 게임판 가운데 놓인 펭귄 모형이 떨어지지 않도록 주변의 얼음 블록을 하나씩 쳐내는 게임이다.

게임 과정은 사람의 시점과 로봇의 시점, 게임판 양옆에서 찍은 영상으로 기록됐다. 로봇 기업 관계자는 블록을 쳐낼 때 힘을 얼마나 줄지 조절하는 능력과 상대에게 불리한 블록을 고르는 전략적 판단을 함께 보여줄 수 있어 이 게임을 골랐다고 설명했다. 시연 중 로봇은 블록을 잘못 건드려 펭귄을 떨어뜨렸다.

(출처=바이라인네트워크)

이처럼 한 번의 작업을 시작부터 끝까지 기록한 데이터를 ‘에피소드’라고 한다. 로봇은 상황과 결과가 다른 여러 에피소드를 학습하면서 다양한 경우를 경험한다.

마음AI는 실제 로봇에서 모은 데이터로 AI 모델을 학습시키고, 아이작 심 같은 가상 환경에서 조건을 바꿔 가며 실험한다. 이후 모델을 실제 로봇에 적용해 결과를 다시 기록한다. 마음AI는 학습, 검증, 보완을 되풀이하는 이 환경을 ‘폐쇄 루프형 통합 인프라’라고 부르며, 자체 피지컬AI 통합 플랫폼으로 연결하고 있다.

손병희 마음AI 국방 및 로보틱스 부문대표(한국피지컬AI협회 표준협의회 의장)는 이렇게 순환하는 과정에서도 실제 데이터를 모아 쓰는 단계에서 병목이 생긴다고 말했다. 로봇마다 데이터를 기록하는 방식이 달라 한곳에 모으기 어렵다는 것이다. 이를 줄이려면 ‘로봇 행동 데이터 표준화’가 필요하다는 것이 그의 주장이다.

표준화가 되면 생김새가 다른 로봇끼리도 경험을 나누기 쉬워진다. 예를 들어 로봇 팔 끝에 달린 손, 즉 엔드이펙터가 손가락 두 개짜리 집게일 때와 사람 손처럼 손가락이 다섯 개일 때는 물체를 쥐는 동작이 다르다. 그래도 어떤 물체를 어디서 집어 어디에 내려놓았는지에 관한 작업 경험은 서로 나눌 수 있다. 이처럼 한 형태의 로봇에서 얻은 데이터를 다른 형태의 로봇에도 쓰는 것을 ‘크로스 임바디먼트(cross-embodiment)’라고 한다.

손 대표는 한국피지컬AI협회 표준협의회 의장도 맡고 있다. 표준협의회는 한국전자통신연구원(ETRI)과 협력해 로봇 행동 데이터의 표준화 기준을 논의하고 있다.

손 대표를 직접 만나 피지컬AI 데이터팩토리의 운영 현황과 한국피지컬AI협회 표준협의회의 역할을 물었다. 

한국피지컬AI협회를 설립하게 된 계기는 무엇인가요?

피지컬AI는 아무리 기술력이 뛰어난 기업이라도 혼자서는 완성하기 어렵습니다. AI 모델과 로봇 하드웨어, 센서, 제어 기술, 데이터, 시뮬레이션, 실제 산업 현장까지 모두 연결돼야 하기 때문입니다.

피지컬AI 업계에는 각자 어떤 고민을 하는지, 무엇이 필요한지, 어떤 문제를 함께 풀어야 하는지 이야기할 자리가 많지 않았습니다. 정부에 정책을 제안할 때도 개별 기업의 목소리만으로는 산업 전체의 과제를 전달하는 데 한계가 있었습니다. 업계의 목소리를 한곳에 모아 보자는 생각이 한국피지컬AI협회의 시작이었습니다.

우선 평소 알고 지내던 기업인과 전문가들에게 연락했습니다. 피지컬AI가 앞으로 중요한 산업이 될 텐데, 우리가 함께 생태계를 만들어 보면 어떻겠느냐고 제안했습니다. 감사하게도 많은 분이 흔쾌히 동참해 주셨습니다.

그렇게 시작한 협회가 이제는 데이터팩토리, 산업 실증, 기술 표준화, 인재 양성 등 피지컬AI 산업의 공통 과제를 함께 논의하고 추진하는 협력의 장으로 발전하고 있습니다.

정부에 전달하고 싶은 메시지도 분명합니다. 개별 기업의 연구개발뿐 아니라 공동 데이터 인프라 구축과 실증 환경 마련, 표준화, 인재 양성도 함께 지원해야 합니다.

마음AI의 피지컬AI 데이터팩토리에서는 로봇이 어떤 과정을 거쳐 학습하나요?

사람이 새로운 일을 배울 때를 생각해 보면 이해하기 쉽습니다. 먼저 숙련자가 시범을 보여 줍니다. 배우는 사람은 이를 직접 따라 해 보고, 실수하면 교정을 받고, 다시 연습하면서 일에 능숙해집니다. 로봇 학습도 기본 원리는 비슷합니다.

먼저 로봇이 수행할 작업을 정의합니다. 어떤 환경에서 무엇을 해야 하는지, 어떤 상태를 성공으로 볼 것인지 정합니다. 그다음 사람이 로봇을 원격으로 조작하는 텔레오퍼레이션(teleoperation)이나 로봇이 직접 작업을 수행하는 방식으로 데이터를 수집합니다.

이때 영상뿐 아니라 로봇의 관절 움직임과 위치, 센서 정보, 제어 명령, 작업 결과 등을 함께 기록합니다. 수집한 데이터는 시간 동기화와 오류 검증을 거쳐 구조화합니다.

하나의 작업을 시작부터 끝까지 기록한 경험 묶음을 에피소드(episode)라고 합니다. 에피소드에는 작업(task), 관측(observation), 상황 및 상태(context/state), 행동(action), 결과(outcome)가 담깁니다.

이렇게 정리한 데이터로 시각·언어·행동 모델(VLA·Vision-Language-Action)을 학습시키고, 엔비디아 아이작 심과 같은 시뮬레이션 환경에서 다양한 조건을 실험합니다. 이후 실제 로봇에 적용해 검증하고, 성공과 실패의 결과를 다시 데이터로 수집합니다.

마음AI 플랫폼은 각 단계를 연결하는 역할을 합니다. 로봇 모델과 관절 구성, 제어 명령을 관리하고, 원격 조작 과정에서 수집한 데이터를 데이터셋으로 구성하며, 학습한 로봇 정책의 실행 결과를 평가·비교할 수 있도록 설계하고 있습니다.

특히 온톨로지(ontology)를 활용한 지식 관리 기능이 중요합니다. 로봇과 객체, 작업, 환경 사이의 관계를 구조화해 각각의 기록을 작업 맥락과 연결된 지식으로 활용하기 위한 것입니다.

데이터팩토리에서는 어떤 장비를 활용하나요?

마음AI에서는 알로하(A Low-cost Open-source Hardware System for Bimanual Teleoperation) 계열 장비를 활용해 자체 로봇 행동 데이터셋을 확보하고 있습니다. 알로하는 사람이 양팔 로봇을 조작하면서 작업 과정을 기록할 수 있는 로봇 학습 플랫폼입니다.

병목이 가장 크게 나타나는 과정은 어디인가요?

사실 병목은 모든 단계에서 나타납니다. 시뮬레이션을 활용하면 학습 시간을 크게 줄일 수는 있습니다. 하지만 시뮬레이션과 현실 사이에는 차이, 이른바 ‘심투리얼 갭(sim-to-real gap)’이 있어 결국 실제 데이터가 필요합니다. 현재는 실제 데이터가 표준화돼 있지 않아 각기 다른 데이터 파일을 모으는 과정에서도 병목이 생깁니다.

데이터 표준화에 대해 설명해 주시겠어요?

정확히는 로봇 행동 데이터 표준화입니다. 서로 다른 로봇이 자신의 경험을 공통된 방식으로 설명할 수 있도록 하는 일입니다. 제가 의장을 맡고 있는 한국피지컬AI협회 표준협의회에서는 로봇 행동 데이터의 구조와 메타데이터, 품질 평가, 상호운용성에 관한 공통 기준을 마련하는 데 집중하고 있습니다. ETRI 등과 협력해 표준화 활동을 추진하고, 장기적으로는 국제표준과의 연계도 확대하고자 합니다.

그러려면 에피소드가 어떻게 시작돼 어떤 과정을 거쳤는지 알 수 있는 데이터셋이 필요합니다. 작업이 이뤄진 시간과 공간, 실패에 이른 과정, 사람이 개입한 시점과 방법까지 담겨야 합니다.

데이터를 표준화하면 다른 몸을 가진 로봇도 그 경험을 활용하는 크로스 임바디먼트를 구현하기가 한결 수월해집니다. 그런 점에서 로봇 행동 데이터 표준이 중요하다고 강조하고 싶습니다.

크로스 임바디먼트가 필요한 이유는 무엇인가요?

데이터가 아무리 좋아도 모델의 성능 개선으로 이어지지 않으면 로봇의 작업 능력도 나아지기 어렵습니다. 그래서 고품질 데이터만큼 중요한 것이 수집과 학습, 검증으로 이어지는 루프입니다.

한 로봇의 경험을 바탕으로 모델을 개선했다면 다른 로봇에도 그 모델을 적용할 수 있어야 합니다. 로봇마다 이 과정을 처음부터 다시 구축하지 않도록 여러 로봇이 함께 활용할 수 있는 루프를 만들자는 겁니다. 그러려면 먼저 로봇 행동 데이터를 공통된 방식으로 기록할 수 있어야 합니다.

데이터 표준화를 위해 공통으로 수집해야 할 항목은 무엇인가요?

앞서 말씀드린 에피소드의 구성 요소가 필요합니다. 작업, 관측, 상황 및 상태, 행동, 결과입니다. 로봇이 어떤 작업을 맡았고 무엇을 관측했는지, 작업을 잘 수행했는지, 실패했다면 어느 시점이었는지 알 수 있어야 합니다. 작업의 맥락을 이해하는 데 필요한 기본 정보입니다.

마음AI는 어떤 기준으로 데이터에 라벨을 붙이나요?

저는 피지컬AI 데이터의 품질을 이야기할 때 이런 예를 자주 듭니다. 로봇이 컵을 집는 데 성공했다고 해서 그 데이터가 반드시 좋은 데이터일까요? 컵을 안정적으로 잡았는지, 우연히 성공했는지, 중간에 컵이 미끄러졌지만 다시 잡았는지에 따라 학습의 의미가 달라집니다. 단순히 성공과 실패만 표시해서는 충분하지 않다는 뜻입니다.

피지컬AI 데이터를 수집할 때는 로봇이 어떤 상황에서 어떤 행동을 했고 그 결과가 무엇이었는지 연결해서 기록해야 합니다. 마음AI가 에피소드 기반 데이터 구조를 중요하게 보는 이유입니다.

하나의 에피소드에는 작업 목적, 관측 정보, 로봇과 환경의 상태, 수행한 행동, 실행 결과를 함께 기록합니다. 이를 통해 AI가 동작의 순서뿐 아니라 상황과 행동, 결과 사이의 관계도 학습할 수 있도록 합니다.

데이터 품질을 평가할 때는 특히 네 가지를 중요하게 봅니다. 영상과 센서값, 제어 명령의 기록 시점이 정확히 맞는지, 작업 과정에서 중요한 정보가 누락되지 않았는지, 성공과 실패에 일관된 기준으로 라벨을 붙였는지, 다른 환경에서도 데이터를 해석하고 작업을 재현할 수 있는지입니다.

여기에 마음AI 플랫폼의 데이터 관리 기능과 온톨로지 기능을 연결하면 실험 이력과 데이터셋, 로봇의 작업 정보, 학습 결과를 일관된 구조로 관리할 수 있습니다.

작업에 실패한 데이터도 가치가 있다고 보시나요?

실패 데이터는 로봇이 어떤 조건에서 실패했고 어떻게 복구했는지 알려 주는 중요한 학습 자산입니다.

저는 앞으로 데이터 품질을 평가하는 기준도 달라져야 한다고 생각합니다. 데이터의 정확성과 함께 그 데이터로 학습한 로봇이 실제 현장에서 얼마나 정확하고 안전하게 행동할 수 있는지까지 확인해야 합니다.

한국피지컬AI협회의 향후 로드맵은 무엇인가요?

현재 데이터팩토리, 현장 실증, 기술 플랫폼, 표준화, 인재 양성을 서로 연결하는 방향으로 사업을 추진하고 있습니다.

한국피지컬AI협회는 국토교통부의 공간지능 기반 한국형 도심 환경 피지컬AI 가상 학습장 구축 기획에 참여하고 있습니다. 실제 도심 공간과 가상환경을 연결해 로봇이 이동과 작업을 학습하고, 그 결과를 검증할 수 있는 기반을 마련하기 위한 사업입니다.

장기적으로는 개별 기업의 데이터팩토리와 산업 현장을 연결하고, 검증된 학습 경험을 표준화된 방식으로 활용할 수 있는 생태계를 만들고자 합니다.

저는 피지컬AI 산업을 하나의 거대한 퍼즐이라고 생각합니다. 로봇 기업도 필요하고, AI 기업도 필요하고, 데이터와 시뮬레이션 기업, 실제 산업 현장과 대학도 필요합니다. 어느 한 기업이 모든 조각을 갖고 있을 수는 없습니다.

글. 바이라인네트워크
<오민선 기자> omsoms94@byline.network

일간 바이라인 구독하기

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다


The reCAPTCHA verification period has expired. Please reload the page.