[그게 뭔가요] 생성형 AI에서 ‘추론’이란

현재 생성형 인공지능(AI) 시장에서 가장 많이 거론되는 단어 중 하나가 ‘추론’이다. 얼마전 엔비디아 젠슨 황 최고경영자(CEO)는 GTC2025 기조연설에서 AI 시장의 중심이 추론으로 이동하면서 더 많은 GPU를 필요로 하게 된다고 말하기도 했다.

올해 초 중국 스타트업 딥시크의 ‘딥시크-R1’이란 추론 모델이 나와 세상을 놀라게 했고, 구글은 추론 성능을 강화한 ’제미나이 2.5 프로’를 무료로 제공한다고 얼마전 발표했다. 오픈AI는 작년 선보인 추론모델에 ‘GPT-X’ 대신 ‘오픈AI-o1’ 식의 이름을 붙여 구분하고 있다. 샘 올트먼 오픈AI CEO는 “GPT-4.5 버전이 마지막 일반 모델이며 앞으로 나올 GPT-5는 추론 역량을 통합할 것”이라고 밝히기도 했다.

여기서 추론이란 무슨 의미일까? 2022년 챗GPT 등장 전부터 AI 분야에서 쓰여온 ‘추론’과 지금의 추론은 뭐가 다른가? 그리고 현재의 추론은 무엇을 의미하고 어떻게 이뤄질까? 정리했다.

이것도 추론, 저것도 추론

AI 분야에서 ‘추론’이란 단어는 오래전부터 쓰여왔다. 이 때문에 최근 각광받는 ‘추론 모델’이란 용어는 혼란을 준다. 이는 한국어 사용자의 경우 더 크게 발생하는 혼란으로, 전자의 추론은 영어로 ‘inference’이고, 후자의 추론은 ‘reasoning’이다. 원래 다른 말임에도 동일하게 ‘추론’이라고 번역된다.

‘인퍼런스’는 데이터를 학습한 모델이 사용자로부터 주어진 질문에 답을 찾는 과정을 의미한다. 이미 학습한 데이터를 기반으로 패턴을 예측하고 결론을 생성하는 것이다. 질문을 받으면 가장 관련성 높은 답을 바로 내놓는다. 챗GPT에서 무언가 궁금한 걸 질문하면 바로 답변해주는 식이다.

‘리즈닝’은 단순한 패턴 분석을 넘어 더 복잡한 문제를 해결하기 위해 논리적 단계를 거쳐 결론에 도달하는 행위다. 문제나 질문을 더 작은 하위 단계로 분해하고 데이터와 규칙을 적용해 차근차근 답을 찾아 가는 것이다. 추론 모델은 사용자의 질문 하나를 받은 뒤, 여러 단계를 설정해 스스로 작은 질문을 만들고 풀어내는 흐름을 이어가다 최종 결론에 도달한다. 컴퓨터가 생각하는 것이라고 설명되기도 한다.

이 기사에선 편의상 쉬운 구분을 위해 ‘리즈닝’을 추론으로 쓰고, ‘인퍼런스’는 원래 언어를 한글로 표기했다.

추론 모델의 계기이자 핵심 ‘사고 사슬’

추론 모델의 핵심 기법은 ‘사고 사슬(Chain of Thought) 프롬프팅’이다. 사고 사슬 프롬프팅은 2022년 구글리서치에서 발표한 논문에서 처음 제안됐다. LLM이 복잡한 문제를 해결할 때, 논리적 사고 과정을 단계별로 출력하도록 유도하는 기법이다. 이 논문으로 AI 모델에 중간 추론 단계를 생성하는 사고 사슬을 활용하면 언어모델의 복잡한 추론 능력을 크게 향상시킬 수 있다는 게 증명됐다.

추론 모델은 문제를 해결하는데 시간을 더 사용한다. AI가 질문을 받고 일련의 해결과정을 설계한 뒤에 단계적으로 추가 작업을 이어간다. 문제를 단계별로 나누기도 하고, 혹은 시행착오를 하면서 점점 정답에 가까워지기도 한다.

나아가 ‘사고 나무(Tree of Thought)’ 기술이 고안돼 더 다양한 추론 경로를 탐색하고 평가해 최적의 결론을 도출할 수 있게 됐다. 사고 사슬이 하나의 선형적인 경로로 연결되는 반면, 사고 나무는 여러 갈래로 사고의 경로가 뻗어나가며 가장 최적의 결론을 만들어낸다.

AI 모델 개발회사는 모델을 학습시키는 단계에 사고 사슬 기법을 도입했다. 데이터를 학습하는 시점에 단계적으로 답을 도출하는 해결 과정을 익히게 하고, 답변을 스스로 검증하도록 평가와 교정 과정도 넣었다.

‘오픈AI-o1/o3’나 ‘구글 제미나이2.0 플래시 싱킹’ 같은 모델은 문제를 여러 블록으로 나누고, 각 블록 질문을 독립적으로 계산한다. 중간에 틀렸는지 오류를 스스로 검증하고, 틀리면 오류를 고치기도 한다.

사고 사슬에 강화학습을 더하면

‘강화학습(reinforcement learning)’은 추론 모델을 구축하는데 활용되는 또 다른 축이다.

추론 모델은 단계별로 사고하는 과정을 학습하면서, 점차 오류를 줄여가게 되는데, 최적의 결과를 낼 때까지 앞선 사고 사슬을 기반으로 역량을 높여간다.

학습 단계에 사람이 개입해 오류 여부를 판정해주기도 하고, AI 스스로 오류를 판정해 재사고에 반영하기도 한다.

이를 통해 AI 모델은 광범위한 시행착오를 미리 학습하고, 틀린 답을 점차 적게 내뱉게 된다. 이를 위해 개발자는 AI가 언제 올바르게 동작했는지, 언제 잘못 동작했는지를 알려주고 보상하는 피드백 메커니즘을 활용한다.

사고 사슬 프롬프팅만 활용하는 추론 모델이라면 수학, 과학, 코딩처럼 명확하게 답을 내기 쉬운 문제에서 강력하다. 하지만 창의적인 글쓰기나 윤리적 판단 같은 분야에선 제대로 작동하지 못한다.

강화 학습은 이런 고도의 사고를 요구하는 문제도 답할 수 있게 해주는 방법이다.

추론 모델이 각광받는 이유

유명한 추론 모델의 경우 인간의 사고 과정을 모방해간다는 점에서 발전된 형태를 보여준다. 문제를 해결하려 구조화된 방법을 찾거나 만들고, 스스로 검증하며, 스스로 교정하는 게 사람의 사고 방식과 닮아 있다. 사람의 사고 방식을 그대로 모방하게 되면 인간과 동등한 수준의 지능을 만들 수 있다는 ‘인공일반지능(AGI)’ 구현에 한층 가까워진다고 볼 수 있다.

시중의 LLM들이 더 이상 방대한 데이터 학습만으로 성능을 높일 수 없게 된 점도 하나의 이유다. 인터넷 상에 공개된 데이터는 이미 대부분의 LLM에 학습됐다. 조직과 개인의 기밀 데이터는 쉽게 활용할 수 없다. AI 모델의 답변 정확도를 높이고, 복잡한 문제를 해결하게 만들 새로운 접근 방식이 필요한 시점인 것이다.

추론 모델이라도 아직 진짜로 100% 정확한 답을 내주진 못한다. 추론 모델은 막 시작된 기술이며, 또 다른 한계에 봉착할 수도 있다. 지금은 현재 방법의 한계지점을 찾아가는 과정인지도 모른다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network