60년 수학 난제 해결 23세 청년…비결은 ‘챗GPT’

60년 넘게 해결하지 못했던 수학 난제의 결정적 실마리를 대학원 문턱도 넘지 않은 23세 아마추어 청년이 찾아냈다. 전통적인 증명 방식이나 정교한 수식 계산이 아닌 인공지능(AI)과의 대화를 통해 이뤄낸 성과였다.

화제의 주인공은 고급 수학 교육 한 번 받아 본 적 없는 23세 청년 리암 프라이스(Liam Price)다.

최근 과학 전문지 사이언티픽 아메리칸(Scientific American)의 보도에 따르면, 그는 전설적인 수학자 폴 에르되시(Paul Erdős)가 1960년대에 제시한 정수론 문제 해결의 결정적 단서를 제공하며 학계를 놀라게 했다.

이 문제는 수많은 숫자들 사이에서 서로 나누어 떨어지지 않는 특수한 규칙과 패턴을 찾아내야 하는 복잡한 논리가 필요하다. 수많은 수학 전문가가 도전했지만 매번 한계에 부딪히고 실패했다.

사이언티픽 아메리칸에 따르면 프라이스는 문제를 풀기 위해 오픈AI의 최신 모델이 탑재된 챗GPT 유료 구독 서비스인 ‘GPT-5.4 프로’를 이용했다.

평범한 월요일 오후, 프라이스는 별다른 기대 없이 챗GPT에 문제를 입력했다. 챗GPT가 내놓은 결과물이 완벽하게 수학적 증명 형태를 갖춘 것은 아니었으나, 놀랍게도 챗GPT는 단 한 번의 프롬프트 입력만으로 문제 해법의 핵심 실마리를 정확히 짚어냈다.

프라이스는 에르되시의 난제들을 무작위로 AI에게 던져보는 이른바 ‘바이브 수학(vibe mathing)’ 방식을 재미 삼아 시도하던 중 우연히 이 결과를 얻었다며, “이 문제가 얼마나 대단한 건지 몰랐어요. 그저 평소 하던 대로 에르되시 문제들을 AI에게 던져주고 어떤 결과가 나오는지 지켜보고 있었죠. 그런데 정답처럼 보이는 해답을 내놓더라고요“라고 당시 상황을 설명했다.

프라이스는 정답에 가까운 해답을 확인한 뒤, 케임브리지 대학교 수학과 2학년에 재학 중인 친구 케빈 바레토(Kevin Barreto)에게 이 사실을 공유했고, 바레토는 재러드 듀커 리히트먼(Jared Duker Lichtman) 스탠퍼드 대학교 교수와 필즈상(수학계의 노벨상) 수상자인 테렌스 타오(Terence Tao) UCLA 교수에게 이 사실을 알렸다.

두 교수는 검증에 나섰고, 이들은 챗GPT의 답변에서 핵심적인 수식을 포착해냈으며, 불필요한 내용을 덜어내고 논리를 정교화하여 증명을 최종 완성했다.

타오 교수는 프라이스가 챗GPT를 통해 도출해낸 접근법이 논리적으로 유효함을 확인하며, 기존 수학계의 틀을 깬 새로운 시도에 대해 “훌륭한 성취”라고 평가했다. 이어 타오 교수는 수많은 수학 전문가가 60년 동안 이 문제를 풀지 못한 이유에 대해 “이 문제는 기존 연구자들이 초기 단계에서 미묘하게 잘못된 방향으로 접근했을 가능성이 있다”며 “일종의 ‘심리적 장벽(mental block)’이 있었던 것으로 보인다”라고 분석했다.

AI가 수학 연구에 활용된 사례는 이전에도 있었다. 대표적인 주자가 바로 구글의 딥마인드(DeepMind)다. 딥마인드는 AI 시스템 ‘알파텐서(AlphaTensor)’를 통해 행렬 곱셈에서 기존보다 연산 횟수를 줄이는 새로운 알고리즘을 제시한 바 있다.

다만 두 사례는 접근 방식에서 차이를 드러낸다. 딥마인드 연구가 계산 효율 개선에 초점을 맞췄다면, 프라이스의 사례는 개인 연구자가 생성형 AI를 활용해 이론적 수학 문제에 접근했다는 점이다. 특히 AI가 완성된 증명을 제시하기보다, 핵심 아이디어를 제공하고 이를 인간이 검토하는 방식으로 활용됐다는 점에서 확실한 차이를 보여준다.

학계는 이번에 발견된 새로운 접근법의 확장 가능성에 주목하고 있다. 리히트먼 교수는 “이러한 문제들이 서로 군집을 이루며 모종의 통일성이 있다는 직관을 갖고 있었는데, 이 새로운 방법이 그 직관을 확인시켜 주고 있다”고 시사했다. 타오 교수 역시 “우리는 거대한 숫자와 그 구조를 생각하는 새로운 방식을 발견했다”며 “장기적인 중요성에 대해서는 좀 더 지켜봐야겠지만 훌륭한 성과”라고 평가했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network