챗GPT는 왜 거짓말을 할까?

질문 : 오징어게임의 주인공은?
답 : 오징어게임에는 주인공이 복수 목적으로 참가한 대한민국의 김서영(연기:이정재)과 그의 경쟁자들, 그들을 조종하는 비밀 조직의 구성원들이 등장합니다. 

위의 질문-답은 기자가 챗(Chat)GPT와 나눈 대화의 일부다. 오징어게임 시청자라면 이 답이 완전히 틀렸다는 것을 알 수 있다. 오징어게임의 주인공은 김서영이 아니라 성기훈이며, 오징어게임 참가자들은 복수를 위해 모인 것도 아니고, 비밀조직의 구성원도 아니다.

챗GPT가 공개된 지 3개월 남짓의 시간이 흘렀다. 여전히 선풍적인 인기가 계속되고 있지만, 부작용 문제도 불거지고 있다. 정확하지 않은 정보를 천연덕스럽게 내놓기 때문이다. 자칫 챗GPT와의 대화를 중요한 보고서에 인용하거나 정보 수집의 도구로 썼다가는 큰 낭패를 볼 수도 있다.

오징어게임의 주인공이 성기훈이라는 건 인터넷상에 흔하게 널려있는 정보다. 챗GPT와 같은 똑똑한 AI가 이렇게 평범한 질문에 엉뚱한 답을 내놓는 현상을 어떻게 이해해야 할까? 챗GPT는 왜 자꾸 거짓말을 할까?

챗GPT가 틀린 답을 하는 대표적인 이유 중 하나는 데이터셋 시점에 따른 것이다. 최근 이슈는 제대로 답하지 못한다. 일례로 한국의 대통령을 물으면 전임 문재인 대통령이라고 답하는 식이다. 이는 챗GPT가 보유한 데이터셋이 2021년까지의 정보라서다. 챗GPT는 검색엔진처럼 실시간 정보를 수집하는 것이 아니라 사전에 학습된 데이터셋만 가지고 답변을 하기 때문에 오류를 일으킨다.

또 하나는 생성 알고리즘에 따른 오답이다. 사실상 가장 치명적인 맹점이다. 챗GPT는 수많은 정보 안에서 특정 단어의 성격을 벡터로 정의하고, 단어의 관계성을 분석해 답을 내는 것으로 알려져있다.

한 AI 전문가는 “챗GPT는 정보를 네트워크상 벡터 공간에 넣어놓고, 이를 참조해 답을 생성하는 구조”라며 “정보가 (원본 그대로가 아닌) 압축돼 들어있는 형태라 원형을 복원해 답변하지 않는다”고 설명했다.

챗GPT의 명칭을 보면 답변 구조를 좀 더 체감할 수 있다. GPT는 ‘Generative Pre-trained Transformer’의 약자다. 사전에 훈련된 생성변환기라는 뜻이다. 여기서 중요한건 ‘T(트랜스포머)’다. 구글이 2017년 발표한 논문에 등장하는 개념으로, 문장 속 단어 등 데이터간 관계를 추적해 맥락을 학습하는 신경망을 뜻한다.

쉽게 말하면 정확하게 해당 정보를 추려 답을 ‘찾는’게 아니라 관계성을 분석해 답을 ‘생성’하는 형태라는 의미다. 이 전문가는 “어떤 때는 정확하지만 서로 다른 정보가 충돌하거나 질문 유형을 잘못 판단했을 때는 오답이 나오는 형태”라고 말했다.

인터넷에서 유행하는 ‘허씨 초콜릿’ 관련 답변은 더 극단적이다. 본래 이름인 허쉬가 아닌 허씨 초콜렛으로 입력하면 답을 ‘주작(조작이라는 의미의 인터넷 은어)’한다.

이경전 경희대 경영학·빅데이터응용학과 교수는 “챗GPT는 단어 n을 인식하면 n+1을 만드는 방법론을 쓴다”며 “n 다음의 설명에 필요한 적절한 단어를 찾는 구조라 할로시네이션(hallucination·환각) 문제에서 자유로울 수 없다”고 말했다.

이경전 교수는 이어 ”입력 단어에 대해 설명하는 방법론을 통한 데이터 인터페이스를 만들었다는 것은 대단하다”면서도 “과신해서는 안 된다”고 주의를 당부했다.

결론을 내보자면 챗GPT는 기초적인 정보 체크에는 도움이 되지만 늘 신뢰할 수 있는 소스를 주지는 않는다. 개발사인 오픈AI도 오답의 가능성을 이미 알고 있다. 때때로 잘못된 정보가 생성될 수 있고, 유해한 지침이나 편향된 내용을 생성할 수 있다고 공지사항을 통해 알려 놓았다.

챗GPT는 대학 레포트 작성 등에도 널리 활용되는 모습이다. 하지만 이 같은 부작용이 있는 만큼 교육계에서도 대책을 강구하고 있다.

세종대의 경우 새학기부터 챗GPT로 레포트를 작성하면 F학점을 주기로 결정했다. 1차 자료조사에 참고하는 정도는 괜찮지만, 실제 레포트 작성에 100% 활용하는 것은 금지한다. 세종대는 교수들이 직접 챗GPT를 돌려보고 그대로 레포트를 작성한 것으로 확인되면 페널티를 줄 방침이다.

김대종 세종대 경영학과 교수는 “전체 공지를 통해 이 같은 방침을 전할 예정”이라며 “오답의 우려가 있어 검증이 필요하고, 학생들의 학습에도 부정적인 영향을 줄 수 있기 때문”이라고 말했다.

반면 챗GPT의 성능을 역이용하는 사례도 있다. 이경전 경희대 교수는 “새학기 시험 문제를 낼 때 챗GPT로 먼저 돌려보고 챗GPT가 못 푸는 문제만 출제할 것”이라고 밝혔다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network