| |

KT는 왜 초거대 AI를 만드나

KT가 초거대 언어모델(LLM, Large Language Model) ‘믿음’을 발표했을 때 처음 든 생각은 ‘굳이??’였다. LLM은 구글 페이스북 같은 글로벌 빅테크 기업이나 오픈AI와 같은 초대형 스타트업이나 하는 분야였기 때문이다.

우리나라에서도 네이버나 카카오 등이 LLM을 개발했지만, 이들은 국내 시장에서 빅테크 기업과 경쟁하는 관계라는 점에서 필요한 일이었다. AI 기반 기술이 현저하게 뒤쳐질 경우 글로벌 빅테크에 국내 시장을 내줄 수 있다.

반면 기간통신사업자인 KT는 직접 LLM을 만들지 않아도 본질적인 경쟁력이 훼손되지는 않는다. 빅테크가 제공하는 API를 활용해서 필요한 서비스를 만들어 잘 쓰기만 해도 된다.

특히 LLM은 막대한 자본이 소요되는 기술이다. 오픈AI는 마이크로소프트로부터 조 단위의 자금을 투자 받아서 챗GPT를 만들었다.

KT는 무엇이 하고 싶어서 LLM을 직접 만들까? 이에 대한 궁금증을 갖고 서울 우면동에 있는 KT연구개발센터를 찾았다. 인터뷰는 AI연구소 융합기술원 장두성, 성주원 상무와 진행됐다.


심재석 : 안녕하세요. KT의 초거대 AI에 대해 이야기를 들으러 왔습니다.

장두성 : 저희가 2년 반 정도부터 언어처리 위주로 초거대 AI 기술을 개발하고 있고, 지금은 ‘AICC’나 ‘기가지니’에 적용을 하고 있습니다.

심재석 : AICC는 AI 기반 콜센터를 말하는 거죠?

장두성 : 네, 저희가 자체적으로 ‘100번’이라는 굉장히 큰 콜센터를 운영하고 있고요, 또 콜센터를 직접 운영하기 어려운 회사를 위해 콜센터를 대행해 주는 서비스도 하고 있습니다. 이런 서비스에 AI를 결합하고 있습니다. 그 외에 AI 호텔이나 AI 물류 등 다양한 분야에 AI를 적용하는 쪽으로 진행을 하고 있습니다.

심재석 : 말씀하신 서비스에 다 초거대 모델이 이용되나요?

장두성 : 우선적으로 적용하고 있는 것은 100번 콜센터, AICC, 기가지니 등이고요. 저희가 AI 사업을 굉장히 많은 분야에서 하고 있는데, 하나씩 바꿔 나가고 있는 중입니다.

심재석 : 요즘 챗GPT가 나온 이후 생성AI와 초거대 AI에 대한 관심이 집중되고 있습니다. 같은 기술을 개발하고 계시니까, 이 상황을 어떻게 보고 계신지 한 말씀만 부탁드려요.

장두성 : 저희 개발자의 시각으로 보면 챗GPT도 아직은 좀 부족한 점이 많아 보이는데요. 그걸 자신 있게 내놓다니 좀 놀라운 면이 있습니다. 구글이나 네이버도 그렇게 생각할 거 같아요.

심재석 : 아직 완성되지 않았는데 과감하게 서비스를 한다는 점에서 놀라운 건가요?

장두성 : 네, 저희도 마찬가지지만 여러 기업들이 다들 비슷한 수준에서 내부적으로 만들어놓은 게 있습니다. GPT-3가 처음 나온 이후 여러가지를 다 잘하는 모델을 만드는 방향으로 이 분야의 기술이 흘러왔거든요. 문제는 잘하는 건 굉장히 잘하는데 못하는 것들이 꽤 많이 있다는 거죠. 서비스 관점에서 봤을 때는 항상 정답을 말해 줘야 하는데 틀린 답이 많아서 아직까지는 내놓을 준비가 덜 됐다고 생각했죠. 구글도 그렇게 판단했을 것 같아요. 반면 오픈AI는 ‘사용자들이 스스로 판단하세요’라는 식으로 내놓아서 시장을 많이 흔들고 있는데, 결과적으로 봤을 때는 굉장히 잘하는 일이라고 저는 보고는 있습니다.

심재석 : 그 말씀은 ‘사실은 우리도 저 정도는 하는데…’ 이런 생각이 깔려 있는 것처럼 느껴집니다.

장두성 : 오픈 AI가 이번에 오픈한 것과 유사한 형태의 서비스들은 구글 등에서 이미 논문으로 다 발표를 한 것들입니다. 다만 일반 사람들은 잘 모르고 있던 것이어서 챗GPT를  통해서 이제 수면에 떠오르니까 임팩트가 굉장히 컸던 거죠.

심재석 : 그럼 KT도 오픈AI 수준이다? 이렇게 말할 수 있을까요?

장두성 : 그렇게 말하기에는 좀 자신이 없는 점은, 한국어는 데이터가 많지 않아요. 외국은 데이터셋을 공유하는 문화가 있는데, 한국은 그런 데이터셋을 만들어 공유하는 회사나 기관들이 많지는 않습니다.

심재석 : 정부에서 말뭉치 구축 사업 이런 거 하지 않았나요?

장두성 : 대표적으로 AI허브 같은 데서 데이터를 만들고는 있는데요, 그런 사업이 활성화된 게 사실 2년밖에 안 됐습니다. 아직은 데이터가 더 많이 필요한 거죠.  한국어 데이터 쪽은 한 1년 정도는 뒤쳐져 있다고 봐도 될 것 같습니다.

심재석 : 성 상무 님은 어떻게 보고 계세요?

성주원 : 예전에 마이크로소프트의 챗봇 ‘테이(Tay)’가 출시됐을 때 난리가 났었잖아요?(테이는 2016년 출시되자마자 이용자들이 장난삼아 혐오적 발언을 학습시켰고, 테이는 인종차별주의적 발언을 쏟아내 곧바로 서비스가 중단됐다- 기자 주) 구글도 오픈AI 정도의 기술은 다 갖고 있는데 이런 거를 보면서 공개를 못하고 숨기면서 뭔가를 만들어왔던 거 같아요.

반면 오픈AI는 과감하게 출시를 했는데, (제가 볼 때는) 사람들의 반응이 굉장히 충격적이었어요. 잘못된 답변을 뻔히 생성하는 게 보이는데도 불구하고 열광을 하고 있죠. (잘못된 대답을 해도) 사람들이 ‘그럴 수 있다’고 받아들이고 있어요. 잘된 답변에 열광을 하는 거죠.

유료화가 돼도 잘못된 답변을 계속 양해해 줄까? 구글이 오픈하지 못했던 그런 이슈들이 유료화 이후에는 좀 부각되지 않을까? 라는 생각이 들기도 합니다.

하지만 AI의 결과물이 상상했던 것을 뛰어넘어서 발전하는 것은 분명한 것 같습니다.  앞으로는 영상과 결합하는 멀티 모달 외에도, 결합할 수 있는 다른 부분들이 많이 있어서 그런 것까지 결합이 된다면 사용자의 경험이 한 번 더 확 튀지 않을까, 생각하고 있습니다.

심재석 : 이미지, 오디오, 영상 이외에 다른 멀티 모달이 또 뭐가 있나요?

성주원 : 로봇이나 이런 쪽의 상황 정보 같은 게 있죠. 이런 것도 언어적인 정보는 아니잖아요?
장두성 : 센서 정보 같은 것도 굉장히 많은 역할을 하고 있어요. 저희 KT도 네트워크에서 올라오는 수많은 센싱 데이터들을 초거대 AI와 결합을 해서 어떻게 진행할 수 없을까, 라는 걸 고민하고 있습니다.

심재석 : KT는 초거대 AI 분야에서 어느 정도까지 진도가 나갔다고 이해하면 될까요?

장두성 : 저희는 ‘믿음’이라는 초거대 모델을 보유하고 있습니다. 초거대 AI 자체는 진도가 좀 나가 있는데, 저희는 모델 그 자체보다는 모델을 사업에 빠르게 적용하는 것에 더 중점을 두고 있습니다. 언어 모델을 만든다고 끝나는 게 아니라, 서비스를 만들기 위해서 필요한 요소들이 있거든요. 굉장히 빠른 추론도 필요하고, 모델 사이즈를 좀 줄이는 경량화 작업도 좀 필요하고, 윤리적인 문제를 필터링하는 것도 필요합니다. 이런 걸 아주 큰 사이즈는 아니지만 ‘기가지니’나 ‘100번 콜센터’에 우선 적용을 해서 사업화를 이미 진행중입니다.

심재석 : 구체적으로 어떤 방식으로 적용됐나요?

장두성 : 예를 들어 100번 콜센터에 전화를 하게 되면 상담사는 본인이 상담한 내용에 대해서 상담 메모를 적어야 합니다. 현재 초거대 AI를 기반으로 상담내용을 요약해 주는(상담 메모를 작성해주는) 파일럿 서비스를 하고 있습니다. 현재 전체 상담원 5000석 중 100석 정도에 적용돼 있어요. 실험을 하고 있는데 상담사 만족도가 상당히 높습니다.
심재석 : 초거대 AI 이전에도 유사한 서비스들이 있었지 않았나요?

장두성 : 저희도 초거대 AI 나오기 전에도 상담내용을 요약하는 서비스를 이미 제공하고 있었어요. 그것뿐만 아니라 화자를 자동으로 인식해서 음성인식 결과를 녹취록으로 만들어 주는 기능, 대화를 추천해주는 기능 등 여러 서비스를 제공했는데요.  다른 것들은 상담사 분들이 굉장히 잘 쓰고 있어요. 그래서 ‘상담 어시스트’라는 이름으로 상품화를 하고 있죠. 그런데 그 중에서 유독 잘 안 쓰이는 기능이 있는데 그게 요약이었습니다.

그때는 주로 어떤 방법을 썼냐면, 상담 대화 중에서 중요한 문장들을 뽑아내는 방식이었어요.  문장별로 전체 상담 내용에서 이 문장이 얼마나 중요한 역할을 하는가, 점수를 매긴 후 중요한 문장을 뽑았죠. 추출 요약이라고 표현을 하는데요. 뉴스에서는 어느 정도 쓸 만 했어요. 그래서 상담 대화에 적용을 했는데 잘 안 되는 거죠. 대화라는 건 한 문장으로 의미가 다 끝나는 게 아니라 서로 주고받으면서 문맥을 가지고 하는 거지 않습니까? 중요한 문장이라고 뽑아 놓아도 앞뒤 문장이 없으면 해석이 잘 안 되는 경우가 많았죠.

심재석 : 그래서 초거대 AI로 바꾸셨군요. 평가는 어떤가요?

장두성 : 굉장히 만족도가 높습니다. 이렇게까지 잘 될지 몰랐다, 사람이 하는 것보다 훨씬 더 잘하는 것 같다, 이런 반응을 보고 있고요. 내부적으로도 상당히 잘 적용된 케이스라고 생각을 하고 있습니다. 이런 기술은 자체 ‘100번 콜선터’에서만 쓸 게 아니고요. 클라우드에서 AICC 사업으로 고객에게 제공될 계획입니다.

성주원 : AI 스피커 ‘기가지니’에도 의도해석 용도로 LLM(Large Language Model)이 적용이 되어 있어요. 기가지니에 화자를 인식해서 그에 맞는 대답을 하는 기능이 있어요. 예를 들어 질문자가 아이라고 인식이 되면 아이한테 맞춤형으로 답변을 생성해서 제공합니다.

LLM을 기반으로 전문가의 지식을 학습해서 최적의 답변을 해 줄 수 있도록 하는 기술도 준비 중입니다. 올해 내에 출시를 목표로 하고 있는 게 있는데요. 육아 상담 지식 QA 입니다. 어느 정도 기술을 완성해 나가고 있는 단계고요. 여기에 전문가의 목소리나 말투도 모사를 해서 답변을 마치 그 전문가가 하는 것처럼 제공할 예정입니다.

심재석 : 오은영 박사님 같은 분의 목소리로 하면 좋겠네요.

장두성 : 지금 오은영 박사님 목소리로 하고 있어요.

심재석 : 진짜요? 오은영 박사님이 상담하는 것처럼 하려면 오 박사 님의 지식이 텍스트로 정리돼 있어야 학습할 수 있지 않나요?

성주원 : 텍스트로 되어 있는 걸 저희가 오은영 박사님 쪽과  협업을 맺어서 입수를 했죠. 아직은 지식은 지식이 조금 부족해서 좀 더 확장을 할 예정이에요.

장두성 : 오은영 박사님의 저서나 동영상 강의, 이런 거에서 검색으로 문서를 좀 뽑고요. 그걸 기반으로 생성 모델을 이용을 해서 응답을 제시합니다.

심재석 : 잘 된다면 오은영 박사님한테 상담받는 기분이겠네요. 오 박사님 상담 엄청 비싸고 예약대기도 길다던데…

성주원 : 그걸 저희는 목표로 하고 있습니다.

심재석 : 그런데 초거대 AI는 비용이 너무 많이 들어서 운용하기 힘들다고 하더라고요. 아무리 KT가 아무리 대기업이라고 해도 비용 문제는 풀기 쉽지 않을 거 같습니다.

장두성 : 저희도 당연히 비용 문제와 관련이 있고요. 그래서 좀 더 경량화하고, 효율적인 추론이 될 수 있는 방향을 만들고 있습니다.

심재석 : KT는 기반이 통신회사잖아요. 굳이 이런 걸 다 직접 개발할 필요가 있을까, 하는 의문도 듭니다. 오픈AI의 GPT-4 API를 구매해서 써도 되지 않나요? KT가 굳이 글로벌 빅테크와 경쟁할 필요가 없을 거 같은데…

장두성 : 빅테크가 굉장히 많은 기술들을 가지고 앞으로 나가고 있지만, 한국어에 대해서는 큰 신경을 쓰고 있지는 않거든요. 챗GPT도 한국어 성능은 영어에 비해 10분의 1입니다. 빅테크의 기술이 한국어에 적용되기까지는 굉장히 많은 시간이 걸릴 겁니다.

또 저희 사업 중에 AI를 적용할 부분이 많아요. 방금 말씀드린 AICC도 있고, 호텔, 아파트, 물류, 네트워크 분석 등 굉장히 많은 영역을 직접 가지고 있어요. AI를 저희가 필요로 하는 형태로 서비스에 가공을 해서 집어넣으려면은 저희가 데이터와 모델을모델을 직접 가지고 있어야하는 판단을 했습니다.

방금 말씀하신 부분을 저희도 고민했는데, 상당히 많은 투자비가 필요하지만 이것은 KT가 플랫폼화를 하는 데 있어서 꼭 필요GKS 아주 기본적인 기술이라고 판단을 했습니다.

또 저희 혼자 개발한다기보다는 카이스트, 한양대, 성균관대 등 여러 학교나 ETRI 같은 기관, 리벨리온·모레 등 스타트업과 AI 원팀을 만들어서 협업하고 있습니다. 기술을 만들어서 저희 혼자 쓰려는 게 아니고 여러 산업이 같이 쓸 수 있는 방향으로 가는 게 저희 목표입니다.

YouTube video

심재석 : 그럼 KT는 모델 자체를 서비스한다기보다는 응용 서비스를 만들어서 제공하는 게 전략이라고 봐야 하나요?

장두성 : 챗GPT나 글로벌 AI는 사실 모든 영역에서 다 잘하려고 하려는 게 목표잖아요? 그런데 저희는 모든 영역을 다 잘하려고 하면 너무 많은 시간이 걸리고, 신뢰성의 문제나 윤리성의 문제 이런 것들은 단기간에 극복하기는 좀 어렵다고 보고는 있습니다. 그래서 육아 상담 같은 특정한 타깃 영역에 맞춰서 지식을 제공한다면 거기에 맞는 신뢰성을 확보할 수 있을 거라고 생각하고 있어요.

성주원 : 대규모 회사에는 ‘믿음’이라는 파운데이션 모델을 그쪽에 맞춤형(Adaptation)으로 해서 제공하는 것도 생각하고 있고요. 그렇지 않은 고객에 대해서는 스스로 학습을 시킬 수 있도록 하는 도구를 제공을 할 예정입니다.

소규모 기업은 파운데이션 모델을 맞춤형으로 이용하지는 않더라도 믿음 위에서 스스로 분류 같은 모델을 학습시킬 수 있습니다. 학습이 되면 스스로 API를 만들고 그 API가 저희 KT 클라우드 플랫폼 위에 올라갈 수 있는 풀 스택 체계를 만들려고 하고 있습니다.

심재석 : 초거대 언어모델 기반의 생성 AI 서비스, 여기저기서 많이 하잖아요. KT 기술의 특성이나 강점이라고 내세울 수 있는 부분이 있을까요?

장두성 : 단순하게 질의응답하는 선에서 끝나는 게 아니라, 사용자와 공감을 할 수 있도록 굉장히 신경을 쓰고 있습니다. 앞에서 설명한 육아 상담이나 시니어 케어(노인돌봄) 같은 부분을 저희가 진행하고 있습니다.

성주원 : 저희는 지능을 ‘지식’ ‘감성’ ‘개성’ 이런 체계로 나가려고 하고 있어요. 챗GTP는 지식 중심의 AI라고 할 수 있지만, 감성적 대화는 어려운 아이죠. 그리고 이루다 같은 AI는 감성적인 대화에는 굉장히 강한데 또 지식은 약간 부족하죠. 저희는 단순히 지식만 전달하는 게 아니라 그 사람의 감성까지 건드리면서 최종적으로 정보까지 제공하는 AI를 만드는 게 차별화 된 지향점이예요. 앞에서 말한 육아 상담이나 시니어 케어 같은 게 대표적이죠.

심재석 : 이 인터뷰 초반에 생성 모델이 틀린 답을 많이 하는 게 문제라고 하셨잖아요. 그런데 육아 상담이나 시니어 케어도 생성 모델을 활용해서 서비스를 하려는 것들인데, 틀린 답을 하면 어떻게 하나요?

장두성 : 저희뿐만 아니라 대부분의 회사에서 비슷한 접근을 하고 있을 텐데요. 잘못된 응답을 걸러내기 위한 기술을 열심히 개발하고 있습니다. 하지만 그런 기술이 완벽해지기까지는 시간이 더 필요한 상황이라, 우선적으로는 응답을 할 때 어디에서 나온 정보인지, 신뢰성이 있는 정보인지를 같이 보여주는 방식으로 문제를 풀려고 하고 있어요. 신뢰도가 높은 정보에서 뽑아낸 정보인지, 일반 웹에서 가져온 정보인지 알려줄 수 있도록 생각하고 있어요. 또 특정한 영역에서 해당하는 지식만을 이용한다면 정확성 있는 답을 할 수 있다고 봅니다. 윤리적인 문제는 강화학습 같은 걸 통해서 걸러내는 작업을 진행할 예정입니다.

심재석 : 그런데 빙 같은 일반 검색 사이트에서의 질의응답과 달리, 육아 상담 이런 거는 AI가 틀린 답을 하고 이용자가 그걸 따라하면 문제가 커질 수 있지 않나요?

성주원 : 저희가 가장 걱정하는 부분이 그 부분이예요. 100% 완벽해질 수 있을까, 이런 의구심이 있습니다.  다만 특정 도메인 지식 기반으로 답하면 그런 확률을 굉장히 극소로 줄일 수 있지 않을까라는 기대를 하는 거죠.

그렇지만 AI가 완벽할 수 없기 때문에 AI를 대하는 사람들의 인식이 좀 바뀌어야 할 것 같아요. “틀릴 수도 있다”는 전제가 있어야 하고, AI에 대해 약간은 너그러운 분위기도 필요하지 않을까라는 생각을 해요. 그래야 기술 발전 속도를 좀 더 낼 수 있을 것 같아요.

저희는 응답에서 그 정보의 근거를 보여주면서도 정확하지 않을 수도 있다는 사실을 이용자와 커뮤니케이션하려고 하고 있습니다.

심재석 : 그런데 KT가 하려는 서비스의 대상이 정보 취약계층이 많은 것 같아요. 예를 들어 시니어 케어만 봐도 노인 분들이 ‘음, AI는 틀릴 수 있으니 참고만 해야지’라고 받아들이길 기대하긴 어렵지 않나요?

성주원 : 노인한테 저희가 제공하려고 하는 서비스는 약간 감성적인 일상 대화이기 때문에 잘못된 지식을 전달할 일은 없다고 저희는 보고 있어요. 그렇더라도 톡식(Toxic, 독성이 있는) 답변을 할 가능성은 지금 기술적으로 해결을 해야 되는 부분이긴 하죠.

장두성 : B2B로 고객에게 제공하게 되면 해당 업체에서만 사용되는 지식을 검색을 통해 같이 제공하는 것을 목표로 하고 있습니다.  그 외의 것들은 철저하게 분리된 채로 답을 하고, 기업 내 정보에서 답을 한다면 좀 더 정확한 답을 할 수 있지 않을까 생각을 하고 있습니다.

심재석 : 인터뷰 초반에 데이터 부족이 어려운 점이라고 했는데, 어쩌면 KT는 좀더 열악할 수도 있을 거 같아요. 대부분의 데이터는 웹에서 얻을 텐데 우리나라는 인터넷이 약간 개방적이지 않잖아요. 네이버 안에 많은 정보가 있는데 KT 같은 기업은 네이버의 데이터를 크롤링할 수 없을 거잖아요. 그럼 학습할 데이터 규모가 네이버에 비해서도 너무 적지는 않나요?

장두성 : 아주 그렇게 풍부한 상황은 확실히 아닙니다. 어쨌든 그건 국가적으로 좀 풀 문제일 것 같습니다.

심재석 : 네, 장시간 말씀 감사합니다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network

관련 글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다