AI 글 잡아낸다는 클래시파이어, 잘 찾아낼까?

자기소개서나 리포트 등 사람의 손길이 필수였던 글도 인공지능(AI)로 작성하는 시대. 열풍을 불러온 챗(Chat)GPT가 사람의 머리와 손의 수고를 덜어주는 모습이다. 하지만 잘못된 답변을 하거나 AI가 쓴 글을 마치 자신의 글처럼 속이는 경우가 생기면서 ‘기술 부작용’ 문제 또한 불거지고 있다.

챗GPT를 만든 오픈AI도 이 같은 문제를 인식한 모습이다. 텍스트를 분석해 사람이 만들었는지 AI의 손길이 닿았는지 판단하는 애플리케이션 ‘클래시파이어(Classifier)’를 최근 공개했다. 작성한 글을 웹사이트의 입력창에 넣으면 AI가 얼마나 작성에 관여했는지 판단해주는 서비스다.

클래시파이어의 사용법은 간단하다. 오픈AI 계정만 있으면 사용할 수 있다. 이미 챗GPT를 위해 계정을 만들었을 터라 웹사이트에 로그인만 하면 바로 클래시파이어를 쓸 수 있다. 로그인 뒤 입력창에 글을 넣으면 10초 내외의 탐지 시간 후에 결과를 밝혀준다.

알고리즘에 따라 ‘AI에서 생성된 가능성이 매우 낮음’을 비롯해 ▲AI 생성 가능성이 낮음 ▲명확하지 않음 ▲AI의 생성 가능성이 있음 ▲AI가 작성한 것으로 판단됨 등 5가지 유형으로 판단을 내린다.

직접 클래시파이어를 사용해봤다. 아래 사진은 파파고를 통해 자기소개서 요청글을 챗GPT에 돌리고 생성된 글을 입력한 결과다. 하지만 지원 포지션과 지원 회사란이 ‘[ ]’ 로 비어 있음에도 클래시파이어는 AI가 작성했는지 명확하지 않다고 판단했다.

두 번째 시도로 일전에 작성한 기사를 입력해봤다. ‘챗GPT는 왜 거짓말을 할까’의 일부분을 떼어 입력했다. 전문가의 코멘트와 기자의 해설이 담긴 단락을 넣었다. 클래시파이는 AI로 생성된 가능성이 매우 낮다고 판단했다.

특히 클래시파이어는 챗GPT로만 작성한 텍스트를 제대로 가늠해내지 못했다. 러시아-우크라이나 전쟁의 원인과 결과, 향후 전망에 대한 챗GPT의 답변 그대로를 긁어 넣은 결과 이 또한 AI가 작성했는지 명확하지 않다고 판단했다.

시연 결과 글의 폼 자체는 클래시파이어의 판단에 영향을 미치지 않는 것으로 풀이된다. 자기소개글 사례에서 보듯 ‘[ ]’ 가 여러 개 들어있더라도 AI 작성 여부를 제대로 가늠해내지 못한다.

영문으로 작성한 1000자 이상의 글이어야 정확성이 높아진다는 게 오픈AI의 설명이다. 오픈AI는 같은 주제를 놓고 사람이 쓴 것과 AI가 쓴 것을 넣어가며 알고리즘을 훈련시켰다고 설명한다. 자체 테스트 결과 사람이 작성한 텍스트의 약 9%와 AI 생성 텍스트의 26%가 AI가 생성했다는 판단을 받았다고 밝혔다.

회사의 설명처럼 사람이 쓴 글도 AI로 판단하는 사례가 나오는 건 클래시파이어를 맹신해서는 안 된다는 뜻이다. 쓰임새로 보면 투고 논문이나 외국계 기업이 영문 자기소개서를 받았을 때 1차 판단 기준 정도로만 쓰는 게 바람직하다. 교수가 제출된 레포트의 진위를 판단하거나, 인사팀이 자기소개의 진실성을 판단하는데 쓰기는 아직 부족함이 있다. 특히 되레 사람이 직접 쓴 글을 AI가 만들었다고 판단할 경우 작성자를 오해하는 결과를 낳기 때문에 그대로 믿는 것을 지양해야 한다.

챗GPT는 하루 1000만명 이상이 쓰는 대표적인 생성AI 서비스다. 여기에 구글도 람다(LaMDA) 모델에 기반한 ‘바드(Bard)’를 발표하는가 하면 네이버는 하이퍼클로바를 활용한 ‘서치GPT’를 출시하기로 언어 생성AI의 활용은 더 확산될 예정이다. 이에 더 많은 검증 앱이 출시될 것으로 전망된다. 하지만 오픈AI의 클래시파이어마저 정확도가 높지 않은 터라 다른 생성AI 확인 앱이 나오더라도 이를 실제 검증하는 데 따르는 사람의 수고는 당분간 필수적일 것으로 보인다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network