과기정통부, 오픈AI·앤트로픽과 AI 안전 협력 확대

과학기술정보통신부(이하 과기정통부)는 인공지능안전연구소와 오픈AI가 17일 업무협약을 맺은 데 이어 앤트로픽과도 AI 안전성 확보와 사이버보안 협력을 위한 업무협약을 체결했다고 18일 밝혔다.

이번 협력은 고성능 AI와 자율형 AI 에이전트 확산에 맞춰 AI 모델의 위험을 평가하고 안전 기준을 마련하기 위한 것이다. 자율형 AI 에이전트는 사용자의 지시를 받아 여러 단계의 작업을 스스로 수행하는 AI를 뜻한다. 정부는 AI가 사이버 공격과 방어에 미치는 영향도 함께 분석할 계획이다.

인공지능안전연구소와 오픈AI는 고위험 분야별 AI 안전 평가 방법론과 기준 자료를 공유한다. 양측은 한국어와 한국 사회의 맥락을 반영한 평가 체계를 개발하기 위한 기술 정보도 교환하기로 했다. 오픈AI가 각국의 AI안전연구소와 업무협약을 체결한 것은 미국, 영국, 일본에 이어 한국이 네 번째다.

김명주 AI안전연구소 소장은 “AI가 국가 핵심 인프라와 안보에 미치는 영향이 커질수록 고위험 분야에 대한 엄밀한 안전 평가는 선택이 아닌 필수가 되고 있다”며 “오픈AI와 함께 최첨단 AI의 위험을 과학적으로 검증하고 국제적으로 통용되는 평가 체계를 만드는 데 기여하겠다”고 말했다.

이상현 오픈AI 아시아태평양 지역 정책 총괄은 “한국은 AI 기술의 활용과 혁신이 빠르게 이뤄지고 있는 중요한 나라”라며 “고위험 분야 AI 안전성 평가에 대한 지식과 모범 사례를 공유하고 신뢰할 수 있는 AI 개발과 안전한 이용 환경 조성에 함께 기여하게 돼 뜻깊다”고 말했다.

과기정통부와 앤트로픽은 AI 안전성 평가와 사이버보안 분야 협력을 추진한다. 협력 대상에는 한국어 맥락에서의 AI 모델 안전성 검증, 오남용 위험 평가, 자율형 AI 에이전트 레드팀 평가가 포함된다. 레드팀 평가는 공격자 관점에서 AI 시스템의 취약점과 오작동 가능성을 점검하는 방식이다.

사이버보안 분야에서는 AI가 공격과 방어에 미치는 영향을 분석한다. 금융 분야 등을 포함한 AI 취약점 발굴과 사이버 위협 관련 정보 공유도 협력 범위에 들어간다.

앤트로픽은 17일 한국사무소도 정식 개소했다. 한국사무소는 일본, 인도, 호주에 이어 아시아태평양 지역에서 네 번째로 문을 연 사무소다.