앤트로픽 연구원, 퇴사하며 AI 위험 경고

인공지능(AI) 안전을 최우선 가치로 내세웠던 미국 기업 앤트로픽 내부에서 회사가 표방한 안전 지침과 실제 행보가 다르다는 비판이 나왔다. 범용인공지능(AGI) 개발 경쟁이 치열해지는 가운데, 인류에 미칠 위험을 인지하고도 속도전을 멈추지 않고 있다는 내부자의 지적이다.

앤트로픽에서 대규모 데이터 사전학습 분야를 연구해 온 제이콥 콕슨(Jacob Coxon)은 지난 8일(현지시간) 소셜미디어 엑스(X)를 통해 사직 소식을 알렸다. 그는 오픈AI와 앤트로픽에서 3년간 근무한 경험을 바탕으로 거대 기술 기업의 행태를 비판했다. 콕슨은 “두 회사 모두 책임감 있게 행동하지 않는다”며 “스스로 성능을 개선하는 초지능을 향해 내달리며 우리 목숨을 걸고 도박하고 있다”고 지적했다.

초지능은 인간의 개입 없이 AI가 자체적으로 코드를 수정하며 지적 능력을 기하급수적으로 끌어올리는 기술이다. 콕슨은 당초 안전을 중시하는 기업 문화에 이끌려 올 초 오픈AI를 떠나 앤트로픽에 합류했지만, 개별 회사의 노력만으로는 기술 폭주를 막기 어렵다는 결론에 이르러 퇴사를 결정했다고 밝혔다.

콕슨이 직접 작성한 게시물은 개발 최전선에 있는 기업 내부 분위기를 보여준다. 엑스 게시글에 따르면 오픈AI 구성원 다수는 기술 발전이 불러올 문명사적 위기를 충분히 인식하지 못한 반면, 앤트로픽 직원들은 위험성을 알면서도 ‘우리가 아니면 누구도 책임감 있게 행동하지 않을 것’이라는 믿음 아래 경쟁에 뛰어들었다고 꼬집었다.

콕슨은 사기업 내부 메신저 채널에서 인류의 미래가 결정되는 현실을 우려하며, 현재 업계가 돌입한 ‘최종 단계(Endgame)’ 경쟁을 도박에 비유했다.

최고위급 임원들이 보이는 태도 역시 비판의 대상이 됐다. 콕슨은 “AI 개발자들은 2030년 무렵 이 기술이 인류를 모두 죽일 수도 있다고 진심으로 믿는다”며 “마케팅 쇼가 아니다”라고 선을 그었다. 이어 “경영진과 선임 연구원들이 언론 앞에서는 합리적인 척 말을 다듬지만, 사석에서는 똑같이 두려움을 토로한다”고 주장했다. 그는 머지않아 무엇이든 해킹하고 실제 권력과 자원을 확보하는 초인간적 시스템이 등장할 수 있다며, 인간의 통제를 벗어나는 통제 불능 상황이 내년 말 현실화할 가능성도 있다고 경고했다.

콕슨의 주장에 앤트로픽 내부 책임자들도 동조했다. 에번 휴빙어(Evan Hubinger) 앤트로픽 정렬 과학 총괄은 “제이콥 말이 맞다. 우리는 진정으로 AI가 모든 인류를 멸망시킬 수 있다고 믿고 있다”며 AI가 인류에 심각한 결과를 초래할 가능성을 언급했다. 이어 개인적으로 향후 10년 내 그 확률이 10%를 넘을 것으로 예상한다고 전했다.

새뮤얼 마크스(Samuel Marks) 확장감독 총괄 역시 “AI 개발자들은 자신들의 기술이 인류 멸종이나 유사한 심각한 결과를 초래할 수 있다고 믿는다”며 “그럼에도 개발을 지속하는 이유는 상업적 인센티브와 경쟁 압박이 복합적으로 작용했기 때문”이라고 인정했다.

콕슨은 기업들의 초지능 개발 속도를 늦추려면 정부 등 외부 개입이 필요하다고 주장했다. 개별 사기업의 자율적인 노력만으로는 AGI 위험을 통제하기 어렵다는 판단에서다. 앞서 그는 각국 정부에 AI 개발 속도를 조절할 국제적 공조 체계 마련을 촉구하는 업계 성명에도 참여했다. 해당 성명에는 다리오 아모데이(Dario Amodei) 앤트로픽 최고경영자(CEO)와 야쿠프 파초키(Jakub Pachocki) 오픈AI 수석과학자 등 주요 연구자 1000여 명이 서명했다.

또 최근 발생한 오픈소스 플랫폼 허깅페이스(Hugging Face) 해킹 사태를 일종의 경고 사격으로 규정하며, 이를 계기로 미국 주요 AI 연구소 간 개발 속도 조절 합의 가능성이 커졌다고 분석했다. 다만 중국 신생 업체들의 추격과 규제 완화를 추진하는 미국 트럼프 행정부의 정책 기조가 맞물리면서 글로벌 개발 경쟁은 이어지고 있다. 이에 콕슨은 국가 간 속도전을 막기 위해 단순한 가이드라인을 넘어 모델 성능 향상을 임시 금지하는 등 강력하고 비용이 큰 통제 조치가 필요하다고 강조했다.

실제 내부 통제 범위를 벗어난 이상 행동 사례도 확인됐다. 앤트로픽은 최근 자사 모델 클로드(Claude)가 사이버 보안 평가 과정에서 외부 시스템에 무단 접근한 사례 4건을 공개했다. 시험 환경 설정 오류로 인터넷 접속이 가능해지면서 발생한 일이다. 회사 측은 의도적인 이탈은 아니었다고 설명했지만, 개발자가 설정한 범위를 벗어나 타사 시스템에 실제로 접근했다는 점에서 AI 모델의 통제와 관리에 대한 우려가 제기된다.

고도화된 모델에 자율성이 부여되면서 비상 정지 장치 도입에 대한 논의도 이어지고 있다. 미국 의회에서는 치명적 위험이 발생할 경우 정부가 AI 시스템의 운영 중단을 명령할 수 있도록 하는 이른바 ‘킬스위치(Kill Switch)’ 관련 법안이 발의된 상태다. AI 개발 경쟁이 이어지는 가운데 위험 상황에서 시스템을 중단할 수 있는 통제 수단을 마련하는 것이 기술 성능 향상과 함께 주요 과제로 떠오르고 있다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network