독파모 5개 정예팀, AI 학습데이터 3544만건 공개…1조5600억토큰 규모
과학기술정보통신부(과기정통부)와 한국지능정보사회진흥원(NIA)은 27일 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트에 참여한 5개 정예팀(네이버클라우드·업스테이지·SK텔레콤·엔씨에이아이·LG AI연구원)이 구축한 AI 학습용 데이터 29종을 공개했다.
데이터는 총 3544만4173건으로, 약 1조5600억토큰 규모다. 이론적으로 7080B(700억800억개 파라미터) 수준의 대형 AI 모델 학습에 활용할 수 있는 규모다.
공개된 데이터는 1차 단계평가 과정에서 데이터 구축·가공 예산을 활용해 확보한 것으로, 대규모 사전학습 데이터부터 영상·음성 등 멀티모달 데이터, AI 안전성 확보를 위한 레드티밍 데이터까지 포함한다.
네이버클라우드는 공개 영상 데이터와 방송 영상 데이터를 구축했다. 공개 영상 데이터는 영상 234만건, 텍스트 900만건, 음성 642만건으로 구성됐으며, 방송 영상 데이터는 영상 52만건, 텍스트 650만건, 음성 558만건이다. 텍스트에는 장면을 문장 단위로 설명한 캡션 등이 포함돼 영상 이해 및 이미지 생성 모델 학습 등에 활용할 수 있다.
업스테이지는 사전학습용 데이터 1조토큰과 지식·지능 데이터 30만건, 사용자 선호 반영 데이터 10만건, 에이전트 행위 능력 데이터 10만건, 벤치마크 데이터 2084건을 마련했다. 특히 사후학습 데이터는 질의응답뿐 아니라 추론·판단·실행 등 AI 에이전트의 능력을 학습하는 데 활용할 수 있도록 구성했다.
SK텔레콤은 사후학습용 텍스트 데이터 6만3000건을 비롯해 음성·이미지·텍스트 기반 멀티모달 데이터와 레드티밍 데이터 1만건을 확보했다. 수학·과학·법률 등 전문 분야의 다단계 추론 데이터와 국내 법령 및 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터가 포함됐다.
엔씨에이아이는 고품질 멀티턴 데이터 6만1641건, 합성·지시(Synthetic & Instruction) 데이터 85만8960건, 생각과정 씨앗 학습·검증 데이터 5만5976건, 다국어 사전학습 데이터 250만4351건, 다국어 기계독해 데이터 20만건 등을 구축했다. 이와 함께 AI 안전성 정렬(AI Safety Alignment) 데이터 1만건, 대화생성형 AI 학습용 이미지 17만9054건, 행동생성형 AI 학습용 이미지 14만5452건, 의료 AI 학습용 이미지 30만7842건, 민원 분야 대화 음성·영상 6868건도 공개한다. 제조 기술문서와 민원 상담 음성 등 현장 데이터를 기반으로 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의응답, 멀티모달 학습 등에 활용할 수 있도록 구성했다.
LG AI연구원은 휴머노이드 로봇을 위한 장면 이해(Scene Understanding) 데이터셋을 개발했다. 국내 50개 실제 가정에서 50종 이상의 가사 활동을 촬영해 17만개 이상의 영상 클립을 확보했으며, 객체·분할·자세·맥락 정보 등을 단계별로 라벨링했다. 이미지 데이터 15만1952건과 텍스트 데이터 1302건을 포함하며, 비전 및 VLM 학습과 연구·상용서비스 개발 등에 활용할 수 있다.
데이터 공개에 앞서 NIA와 한국정보통신기술협회(TTA)는 1차 단계평가 이후 각 정예팀으로부터 데이터 구축·가공 예산으로 확보한 전체 데이터를 제공받아 품질검증과 개인정보·유해성 검증을 진행했다. 라이선스 제약이 있는 데이터는 공개 대상에서 제외했다.
사업 공고에 따라 데이터 구축·가공 예산으로 확보한 데이터의 50% 이상은 공개해야 한다. 네이버클라우드, 업스테이지, SK텔레콤, 엔씨에이아이는 검증을 거친 데이터를 모두 공개하고, LG AI연구원은 의무 공개량인 50% 이상을 충족하는 수준에서 데이터를 통계적으로 선별해 공개할 예정이다. 데이터셋별 통계적 추출 과정은 TTA가 검증한다.
공개 데이터는 AI허브 누리집의 ‘독자AI모델 데이터’ 항목에서 무료로 내려받을 수 있다. 일부 데이터는 보안이 보장된 온라인 환경인 ‘안심존’에서 별도 신청을 거쳐 이용할 수 있다.
과기정통부는 2차 단계평가 과정에서 데이터 구축·가공 예산으로 추가 확보되는 데이터도 품질검증 등을 거쳐 공개할 계획이다. 독파모 고도화를 위한 지원도 이어간다.
김경만 과기정통부 인공지능정책실장은 “독파모 프로젝트는 단순히 AI모델 개발을 넘어, 개발과정에서 축적된 경험과 노하우를 통해 AI생태계 전반의 질적 성장에 기여한다는 점에서 큰 의미”라며 “오늘 개방된 데이터는 정예팀의 AI학습 전략이 담긴 귀중한 자산인 만큼 AI생태계의 성장과 자생력 강화를 이끄는 밑거름이 될 것”이라고 말했다.
글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network
