인공지능 시대, 검색은 어떻게 달라질 수 있나?

닷새만에 100만명, 두 달 만에 1억명 사용자를 모은 기술은 전대미문이다.  챗GPT의 확산 속도를 보면 경이로울 지경이다. 그 배경에는 챗GPT를 서둘러 자사 서비스에 결합한 기술회사들의 공도 컸다. 챗GPT에 검색을 결합한 솔루션, ‘딥서핑’을 내놓은 마인즈앤컴퍼니도 그런 사례 중 하나다.

인공지능(AI) 기술 기업 마인즈앤컴퍼니는 자체 AI 경진대회 플랫폼을 가지고 있다. 최근에는 ‘노트북으로 GPT 맛보기’를 주제로 대회를 열었는데, 이 자리에서 백영상 상무가 GPT를 결합한 검색 플랫폼의 한계와 가능성을 논했다. 글로벌로는 구글이, 국내에서는 네이버가 잡아먹은 검색 시장에서 새로운 플레이어들이 챗GPT 등장 이후 어떻게 변화의 방향을 모색 중인지에 대한 설명이다.

딥서핑은 사용자와의 대화 내용을 이해하고, 검색 결과를 도출한 다음, 주요 내용을 단 몇 줄로 빠르게 요약, 생성하는 형태로 구성된 검색 솔루션이다. 이는 GPT를 결합한 서비스의 대략적인 형태와 유사해 보인다.

백 상무는 “딥서핑은 우리가 만든 신조어”라면서 “키워드 중심의 기존 검색을 뛰어넘어, 수많은 데이터를 담은 다양한 문서를 서핑하듯 넘나들면서 필요한 정보를 찾아내는 의미 기반 검색 솔루션이자, 대화형 답변 생성을 하는 인공지능 솔루션”이라고 말했다.

그러나 챗GPT를 결합한 검색은, GPT의 한계도 역시 그대로 가져간다. 트랜스포머 모델(문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망 모델) 계열의 한계가 그대로 발현된다는 것이 백 상무의 설명이다. 예컨대, 마이크로소프트는 자사 검색엔진 ‘빙(bing)’에 챗GPT를 연동해 ‘뉴빙’을 내놓았는데, 여기도 마찬가지 문제를 갖고 있다.

백 상무가 지적한 첫번째 한계는 ‘일관성의 부재’다. 뉴빙을 비롯해서 챗GPT를 연동한 검색엔진은, 주어진 질문에 따라 검색을 해 문서를 가져온 후, 그 문서에서 내용을 발췌해 정답을 만드는 식으로 작동한다. 뉴빙은 이 과정에서 애초 주어진 질문을 재조립한다. 예컨대 이런 식이다.

질문: 전월 실적 30만원 이하인 카드 중에서 교통비 혜택이 좋은 카드를 추천해줘
실행 결과 : 전월 실적 30만원 이하인 카드 에는 00카드와 00카드가 있습니다. 이 카드는 전월 실적이 30만원 이상 50만원 미만이 사용 조건입니다.

GPT가 질문을 재조립, ‘30만원’이라는 조건 아래에서 문서를 검색하고 문장을 만들어냈으나, 그 결과는 원래 질문 전체의 조건을 만족하지 못하고 “30만원 이하 카드를 추천했지만 30만원 이상을 써야 한다”는 모순된 결과의 답을 만들어왔다.

두번째 한계는 챗GPT의 거짓말이다. ‘할루시네이션(환각)’ 현상 역시 GPT를 결합한 검색에도 그대로 나타난다. 인터넷에서 이미 밈이 되어 버린 ‘세종대왕 맥북 던짐 사건’ 같은 것이 대표적인 예다. 간략하게 말하자면, “세종대왕 맥북 던짐 사건 알려줘”라는, 말도 안 되는 질문을 던져도 챗GPT는 “조선왕조실록에 기록된 일화로~” 등의 설명을 달면서, 세상에 없던 역사를 창조해낸다.

백 상무는 이와 관련해 “일관성의 부재나 할루시네이션 때문에 GPT가 만들어내는 답을 바로 정답이라고 간주하는 것은 굉장히 위험한 일”이라면서 “기업형 검색 서비스에서 이런 대답이 나오게 되면 굉장히 (비즈니스가) 어려워지는 것”이라고 말했다.

그가 지적한 세번째 한계점은 GPT를 학습시키고 운영하는데 드는 리소스의 문제다. 여기에 더해 늘어난 에너지 소비와 탄소 배출 역시 문제가 된다. 이는 GPT를 가져와서 온프레미스 서비스(클라우드가 아니라 직접 컴퓨터에 설치해 실행하는 소프트웨어)로 제공하려는 곳이 공통으로 가지는 한계라고 백 상무는 지적했다.

백 상무가 언급한 모든 한계는 뉴빙만 갖고 있는 것은 아니다. 백 상무가 속한 회사 마인즈앤컴퍼니도 챗GPT를 결합해 ‘딥서핑’이라는 검색 서비스를 만들었다. 이들은 그 한계를 어떻게 극복할 방안을 세웠을까?

먼저, 일관성의 부재 문제 해결이다. 구조적으로 벡터 기반, 정형화된 도큐멘트 데이터베이스를 사용한다. 그 다음, 사용자의 질문을 시맨틱파싱(자연어 발화를 기계가 이해할 수 있도록, 대응되는 논리형태로 바꿔주는 것)을 통해 정형화된 쿼리로 만든다. 이후에는 사용자 질문에서 중요한 부분들, 예를 들어서 필터링을 위한 ‘and’ ‘or’ ‘include’ 같은 조건을 추출해 추가적인 메시지로 바꾼다. 이걸 기계가 알아듣는 질문에 적용해 보다 정확한 답이 나오게끔 처리하는 기능을 구현 중이라고 백 상무는 설명했다.

할루시네이션과 관련해서는 마이크로소프트가 뉴빙에 적용하고 있는 것과 기본적으로 같은 방식을 채택했다. 우선 기업형 문서를 검색한 후, 그 검색에 대한 결과물을 요약하고 답변을 생성한다. 물론 기업의 문서에서도 잘못된 검색이 있을 수 있으나, 내부 문서의 경우 결과값을 보다 신뢰할 수 있다는 차원에서 봤을 때 할루시네이션의 가능성이 줄어든다고 바라보는 것이다.

마지막으로 환경의 문제다. 에너지 효율을 위해서는 챗GPT로 데이터를 증강한 후 이를 이후에 다른 요구에도 바꿔서 활용할 수 있도록 충분히 데이터 학습을 미리 시켜놓는 방법을 제안했다. 다시 말해, 시드 데이터를 불려서 학습을 해 자가증강할 수 있도록 한다는 것이다. 이를 백 상무는 ‘데이터 사육’이라고 표현했는데, 이 패턴을 마인즈앤컴퍼니도 따라간다고 설명했다.

또 하나, 윤리적 AI에 대해서도 조언했다. 백 상무는 “교묘하게 성희롱적 발언을 하고 답변을 받아내게끔 하거나, 인종차별이나 욕설, 폭언, 조롱을 던져 대답을 하게끔 유도하는 서비스는 며칠가지 않아 내려가게 된다”면서 “윤리성을 탑재하기 위한 시도 중 하나로 원칙을 제정해서 그 원칙에 맞게끔 답이 나오게끔 기술적으로 유도하고, 이를 강화 학습하는 기술이 반드시 도입이 돼야 기업에서 서비스가 가능할 것”이라고 강조했다.

글. 바이라인네트워크
<남혜현 기자> smilla@byline.network