AI에게 코딩 맡겼더니 개발자 실력은 퇴보

생성형 AI가 코딩 작업을 빠르게 처리해주지만, 개발자의 실력 향상에는 오히려 방해가 될 수 있다는 연구 결과가 나왔다. AI 코딩 보조 도구를 사용한 개발자들이 단기간에는 생산성이 높았지만, 코드에 대한 이해도는 크게 낮아진 것으로 나타났다.

앤트로픽은 지난 달 29일(현지시간)은 이 같은 내용을 담은 ‘AI 코딩 보조 도구가 소프트웨어 개발자의 스킬 형성에 미치는 영향을 분석한 무작위 대조 실험(RCT)’ 결과를 발표했다. 연구팀은 1년 이상 파이썬을 주 1회 이상 사용해온 개발자 52명(대부분 주니어급)을 대상으로 실험을 진행했다.

생산성 향상, 그러나 이해도는 급격히 하락

실험 참가자들은 비동기 프로그래밍 라이브러리인 트리오(Trio)를 활용해 두 가지 기능을 코딩하는 과제를 받았다. 절반은 AI 코딩 보조 도구를 사용했고, 나머지 절반은 직접 손으로 코딩했다. 과제 완료 후 즉시 퀴즈를 통해 이해도를 평가했다.

AI를 사용한 그룹은 평균 2분 정도 빨리 과제를 완료했지만, 퀴즈 점수는 평균 50점으로 손코딩 그룹(67점)보다 17% 낮았다. 이는 거의 두 등급 차이에 해당하는 수준이다. 통계적으로도 유의미한 차이였다고 보고서는 평가했다.

특히 디버깅 문제에서 두 그룹 간 격차가 가장 컸다. AI에 코딩을 맡길 경우 개발자가 스스로 시스템의 논리를 파악하고 문제를 해결할 기회를 놓친다는 의미다. 코드가 왜 작동하지 않는지 이해하는 능력이 특히 저하될 수 있음을 시사한다. 

AI 사용 방식이 학습 성과 결정

그러나 AI를 사용했다고 해서 무조건 낮은 점수를 받은 것은 아니었다. 연구팀의 정성적 분석 결과, AI와 상호작용하는 방식에 따라 학습 결과가 크게 달랐다.

AI에게 코드 작성을 완전히 위임하거나, 고민 없이 AI가 준 코드를 그대로 복사해 붙여넣는 경우, 작업 속도는 가장 빨랐으나 테스트 점수는 40% 미만으로 가장 낮았다. 이를 보고서는 ‘사고의 외주화(Cognitive Offloading)’라고 정의했다. 

반면 AI에게 코드를 짜달라고 하기 전 개념적 질문을 던지거나, AI가 생성한 코드의 원리를 다시 물어보는 경우는 이들은 수동 코딩 그룹과 비슷하거나 더 높은 이해도를 보였다. 

이번 연구는 특히 주니어 개발자와 교육 현장에 시사하는 바가 크다. AI가 생성한 코드가 항상 완벽하지 않은 상황에서, 이를 검증하고 수정할 인간 감독관의 역량이 필수적이기 때문이다. 하지만 학습 단계부터 AI에 의존하면 정작 AI의 실수를 잡아낼 기본기를 갖추지 못하게 될 가능성이 높다. 

연구팀은 이번 결과가 소프트웨어 엔지니어링 분야에서 AI를 적극적으로 도입하기 전에 학습에 대한 준비가 먼저 돼 있어야 함을 시사한다고 밝혔다. 

앤스로픽 연구진은 “조직과 개인은 AI를 단순한 대행자가 아닌 학습 파트너로 대해야 한다”며 “때로는 고통스럽게 문제를 해결하는 과정이 숙련도를 높이는 데 필수적”이라고 조언했다.

앤트로픽은 이전 관찰 연구에서 AI가 일부 작업 시간을 80%까지 단축할 수 있다는 결과를 발표한 바 있다. 이번 연구 결과와 언뜻 모순되어 보이지만, 두 연구는 다른 질문을 다룬다. 이전 연구는 이미 관련 기술을 보유한 참가자들의 생산성을 측정했지만, 이번 연구는 새로운 것을 배울 때 어떤 일이 일어나는지를 조사했다.

연구팀은 “생산성 향상도 중요하지만, 그러한 향상이 의존하는 전문성의 장기적 발달도 마찬가지로 중요하다”고 강조했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network