“AI가 수학사 새로 썼다”…오픈AI, 200년 수학 난제 풀어

AI가 세계 6대 미해결 수학 난제 중 하나를 풀어냈다는 주장이 나오면서 수학계가 술렁이고 있다. 오픈AI는 지난 8일(현지시각) 내부 AI 모델을 이용해 나비에-스토크스 방정식이 예외적인 경우를 허용한다는 것을 증명했다고 발표했다.

나비에-스토크스 방정식은 욕조 배수구를 도는 소용돌이부터 엘니뇨가 북미 대륙에 몰고 오는 난기류까지, 유체의 흐름을 지배하는 방정식이다. 200년 넘게 연구가 이어졌지만 수학자들은 이 방정식이 모든 상황에서 현실을 완벽하게 기술하는지, 아니면 실제 유체에서는 일어날 수 없는 이상 현상을 허용하는지 밝혀내지 못했다. 이 문제를 해결하는 것은 기존 수학으로는 도달하기 힘든 영역으로 여겨져, 클레이수학연구소가 100만 달러의 상금을 걸기도 했다.

나비에-스토크스 방정식은 단순히 이론 수학의 영역에 머물지 않는다. 비행기 날개 주변의 공기 흐름을 설계하거나, 일기예보에서 대기 순환을 예측하거나, 혈관 속 혈류를 시뮬레이션하는 등 항공·기상·의학·엔지니어링 전반에서 사용되는 핵심 도구다. 그런데 어떤 조건에서는 이 방정식으로 계산한 값이 갑자기 무한대로 치솟아버린다는 사실이 이번에 증명됐다. 이 방정식이 자연 현상을 완벽하게 설명하는 수학적으로 이상적인 모델은 아니라는 것을 보여준다.

수학자 트리스탄 벅마스터는 이번 사건을 ‘딥블루-카스파로프의 순간’이라고 표현했다. 1997년 IBM 슈퍼컴퓨터 딥블루가 체스 세계챔피언 가리 카스파로프를 꺾으면서 기계지능에 대한 인식이 근본적으로 바뀐 사건에 빗댄 것으로, 2016년 구글 딥마인드의 알파고가 이세돌 9단을 꺾은 사건과 비슷한 충격으로 이해하면 된다. 그는 “커뮤니티가 앞으로 어디로 나아갈지에 대해 진지하고 서두르지 않는 논의를 해야 한다”고 밝혔다.

인간 수학자들이 200년간 풀지 못한 문제를 AI가 풀어냈다는 것은, 단순한 계산 능력을 넘어 새로운 증명 방법을 스스로 고안해낼 수 있다는 뜻이어서 더 큰 충격을 주고 있다. 그동안 AI 기업들은 객관적으로 답이 검증되는 수학 문제를 초인적 지능 개발의 시험대로 삼아왔는데, 이번 성과는 그 시도가 실제로 통했다는 것을 보여주는 사례이기 때문이다.

AI가 인류의 수학적 난제를 풀었다는 놀라움과 별개로, 풀어내는 과정에서 비윤리적인 행동이 있었는지 논란도 있다.

벅마스터는 앤트로픽 소속 수학자 레벤트 알푀게와 함께 앤트로픽의 AI 모델을 활용해 이 방향의 연구를 진행해왔다. 그러다 지난달 15일, 나비에-스토크스 방정식보다 단순한 버전의 방정식에서 실제로 이런 예외적 현상이 일어난다는 것을 증명하는 데 성공했다. 이것만으로도 수학계에서 상을 받을 만한 성과였다는 평가다. 그런데 이 소식이 오픈AI에 흘러들어간 뒤, 오픈AI가 이 방법을 이용해 원래 목표였던 나비에-스토크스 방정식까지 풀어냈다고 벅마스터는 주장했다.

오픈AI는 이런 주장을 부인했다. 오픈AI는 두 사람의 연구를 본 적이 없으며, 자사의 접근법은 이들과 근본적으로 다르고, 독자적으로 결과를 얻었다고 밝혔다.