오픈AI, 오픈웨이트 추론모델 ‘gpt-oss’ 공개
오픈AI가 가중치를 일반에 공개하는 오픈웨이트 AI 추론 모델 2종을 공개했다. gpt-oss로 불리는 추론 모델은 허깅페이스에서 무료로 사용가능하고, 마이크로소프트 애저 외에 아마존웹서비스(AWS)에서도 쓸 수 있다. 오픈AI가 개방형 AI 모델을 내놓은 건 GPT-2 이후 처음이다.
gpt-oss는 오픈AI-o 시리즈와 유사하게 사고사슬(CoT)을 포함한다. 단일 엔비디아 GPU에서 사용가능한 gpt-oss-120b와, 16GB 메모리를 갖춘 노트북에서 사용가능한 gpt-oss-20b다. 아파치 2.0 라이선스로 이용가능해 오픈AI 허가 없이 상용화가 가능하다.
두 모델은 오픈AI의 Response API와 호환되며 지침준수, 웹 검색, 파이썬 코드 실행 등의 도구 사용과 추론 기능으로 에이전트 워크플로우 내에서 사용가능도록 설계됐다. 복잡한 추론을 하지 않는 작업이나 낮은 지연시간의 최종 출력을 목표로 하는 작업을 위해 추론 수준(reasoning_effort)를 조정할 수 있다. 맞춤 설정 가능하고 구조화된 출력을 지원한다.
오픈AI는 타 개방형 모델과 비교해 추론 작업에서 더 뛰어난 성능을 보인다고 강조했다. gpt-oss-120b 모델은 핵심 추론 벤치마크에서 오픈AI o4-mini에 버금가는 성능을 보인다. 단일 80GB GPU에서 효율적으로 작동할 수 있다고 한다. gpt-oss-20b 모델은 일반 벤치마크에서 오픈AI o3-mini와 비슷한 성능을 제공한다.
두 모델은 도구 사용, 퓨샷 함수 호출, CoT 추론, 헬스벤치 등에서 강점을 보였다.
got-oss-120b와 gpt-oss-20b는 코딩 테스트인 Codeforces(도구 포함)에서 각각 2622점과 2516점을 기록해 딥시크 R1보다 우수한 성능을 보였다. 크라우드소싱문제로 구성된 수학시험인 ‘인류의 마지막시험(Humanity’s Last Exam, HLE)’에서 각각 19%와 17.3%를 기록해 딥시크와 큐원보다 앞섰다.
오픈AI는 모델 안전 목표를 달성하기 위해 포괄적 안전 훈련 및 평가로 모델을 실행했고, 오픈AI 준비성 프레임워크에 따라 gpt-oss-120b를 악의적으로 파인튜닝한 버전을 테스트하고 추가적인 평가 계층을 도입했다고 밝혔다.
AI스웨덴, 오랜지, 스노우플레이크 등의 파트너가 데이터 보안을 위해 온프레미스 모델 호스팅과, 특정 데이터셋 파인튜닝 등을 지원했다.
gpt-oss 모델은 사전 훈련 및 사후 훈련 기술로 학습됐다. 각 모델은 입력 처리에 필요한 활성 매개변수 수를 간소시키기 위해 전문가혼합(MoE)을 활용하는 트랜스포머다.
gpt-oss-120b는 토큰당 51억개 매개변수를, gpt-oss-20b는 36개 매개변수를 활성화한다. 모델은 각각 1170억개, 210억개의 총 매개변수를 갖고 있다. GPT‑3와 유사하게 덴스 및 로컬에서 결합된 희소 어텐션 패턴을 교대로 사용한다. 추론과 메모리 효율성을 위해 모델은 그룹 크기 8로 그룹화된 멀티 쿼리 어텐션도 사용한다. 위치 인코딩을 위해 ‘Rotary Positional Embedding(RoPE)’을 사용하며, 최대 128k의 컨텍스트 길이를 기본으로 지원한다.
모델은 STEM, 코딩 일반 지식을 중점으로 영어 위주의 고품질 텍스트 데이터셋으로 훈련됐다.
사후 훈련은 지도 미세조정 단계와 고연산 강화학습(RL) 단계를 포함한 프로세스로 진행됐다. 답변 생성 전 CoT 추론과 도구 사용에 적용할 수 있게 훈련시켰다. 오픈AI-o 시리즈 추론 모델처럼 지연시간과 성능의 균형을 맞추는 3가지 추론 수준을 지원한다.
오픈AI는 추론 모델의 CoT 정렬이 직접 지도로 훈련되지 않는 한, CoT 모니터링이 오작동 탐지에 도움을 줄 수 있다는 내용의 연구 결과를 최근 발표했었다. 만약 CoT에 나쁜 생각을 하지 않도록 직접 압력을 가할 경우 오작동 중에 모델이 사고를 숨기는 밥을 학습할 수 있다는 게 연구로 밝혀졌다.
오픈AI는 gpt-oss 모델에 CoT 직접 지도를 적용하지 않았다고 밝혔다. 개발자가 직접 CoT 모니터링 시스템을 구현하길 바란다고 덧붙였다.
오픈AI는 “개발자는 애플리케이션에서 사용자에게 직접 CoT를 보여줘선 안 된다”며 “CoT에 오픈AI의 표준 안전 정책을 반영하지 않는 잘못되거나 유해한 콘텐츠가 포함될 수 있고, 모델이 최종 결과물에 포함되지 않도록 명시적으로 요청받은 정보를 포함할 수 있다”고 조언했다.
gpt-oss는 MXFP4 형식으로 양자화됐다. 모델의 메모리 사용량을 줄여 적은 규모의 자원에서도 작동하도록 했다. MoE 가중치를 매개변수 당 4.25비트로 양자화했다. 가중치는 전체 매개변수의 90% 이상을 담당한다.
하모니(Harmony) 프롬프트 형식에서 사후 훈련됐으며, 오픈AI는 향후 파이썬 및 러스트의 하모니 렌더러를 오픈소스로 공개할 예정이라고 밝혔다. 파이토치와 애플 메탈 플랫폼에서 추론을 실행할 수 있는 참조 구현을 모델 예제 도구 모음과 함께 출시하겠다고 덧붙였다.
모델은 로컬, 온디바이스, 서드파티 추론 제공업체 등 어디서든 실행하게 설계됐다. 허깅페이스 외에도 애저, vLLM, 올라마, llama.cpp, LM스튜디오, AWS, 파이어웍스, 투게더AI, 베이스텐, 데이터브릭스, 버셀, 클라우드플레어, 오픈라우터 등에서 이용가능하다. 하드웨어로 엔비디아, AMD, 세레브라스, 그록(Groq) 등에 최적화된 성능을 보장한다.
마이크로소프트는 gpt-oss-20b 모델의 GPU 죄적화 버전을 윈도우 디바이스에 적용할 예정이다. ONNX 런타임으로 구동되는 최적화 모델은 로컬 추론을 지원하며, VS코드를 위한 파운드리로컬, AI툴킷 등을 통해 사용할 수 있다.
gpt-oss 모델은 오픈AI-o 시리즈에 비해 더 많은 환각을 보인다. 내부의 지식이 프론티어 모델보다 적기 때문이다.
오픈AI 측은 “오픈 모델을 기존 API에 추가함으로써 다양한 사용 사례에서 첨단 연구, 혁신 촉진, 안전하고 투명한 AI 개발을 가속한다”며 “오픈 모델은 독점 모델을 채택할 예산이나 유연성이 부족한 신흥 시장, 리소스 제한 분야, 소규모 조직의 장벽을 낮춘다”고 밝혔다.
이어 “모든 이에게 접근성 뛰어나고 이로운 AI를 만드는 데 도움을 주는 부분 중 하나는 건강한 오픈 모델 생태계”라며 “개발자와 연구원 여러분이 이 모델을 사용해 실험하고, 혁신하고, 가능성의 경계를 확장해 주길 바란다”고 강조했다.
오픈AI는 gpt-oss의 이름에 오픈소스 소프트웨어의 약어(oss)를 넣으면서도, 공식적인 오픈소스 AI 정의 원칙은 따르지 않았다. 가중치만 공개했을 뿐 gpt-oss 훈련에 사용된 데이터는 공개하지 않았다. gpt-oss 발표 문서와 모든 게시글에서 오픈소스란 단어 대신 오픈웨이트와 오픈 모델이란 표현만 썼다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
