KB국민은행은 왜 이토록 AI를 중요하게 생각하는 것일까?

요즘 AI 관련 컨퍼런스나 세미나에 가보면 자주 등장하는 전문가 중에 오순영 KB국민은행 상무가 있다.

일반적으로 AI 기술을 이끄는 것은 빅테크나 기술 스타트업이기 마련인데, 시중은행의 임원이 AI 행사의 주요 스피커라니 어떤 점에서는 굉장히 흥미로운 부분이다. 오 상무의 존재는 KB국민은행이 그만큼 AI 분야에 적극적이라는 것을 상징한다고 볼 수 있다.

오 상무는 현재 KB국민은행의 금융AI센터를 이끌고 있다. KB국민은행은 지난 2020년부터 금융AI센터(구 은행AI혁신센터)를 운영해 오고 있으며, ‘KB-스타(STA, State of the art Text Analytics)’라는 금융특화모델을 개발했다. KB STA는 현재 3.0 버전까지 개발돼 있다.

최근에는 생성AI가 오 상무를 비롯한 KT국민은행 금융AI센터의 주요 화두다. 챗GPT가 등장한 이후 곧바로 연구팀을 꾸렸고, LLM(거대언어모델)과 같은 기술을 통해 금융 서비스를 혁신할 수 있는 다양한 방법을 연구 중이다.

이는 기존의 금융사가 IT를 바라보는 것과 조금 다른 모습이다. 일반적으로 금융사는 기술 제품의 주요 소비자였다. 수많은 IT 벤더들이 금융사를 위한 제품이나 서비스, 솔루션을 판매하고, 금융사는 이런 솔루션을 구매해 사용했다.

그런데 AI 분야는 좀 다른 모습이다. 챗GPT API를 사다 쓰지 않는다. KB국민은행은 직접 모델을 개발하고 있다. 금융AI센터처럼 특별 조직을 구성하기도 한다. 은행도 이제 더 이상 솔루션을 사서 쓰기만 하는 입장이 아닌, 직접 필요한 기술을 개발하는 곳이 되었다. AI가 금융 서비스 경쟁력을 위한 핵심 요소라고 보고 있기 때문일 것이다. 은행은 왜 이토록 AI를 중요하게 생각하는 것일까?

오순영 금융AI센터장을 만나 국민은행이 그리는 AI 기술의 모습과 전략 등의 전반적인 이야기를 들어봤다.

오순영 상무

서울여대 컴퓨터학과를 졸업한 뒤 2004년 한글과컴퓨터에 입사해 2019년 한컴 창사 이래 첫 여성 CTO(최고기술책임자)를 역임했다. 이후 한컴 인터프리, 한컴 인텔리전스 등 한컴의 AI 기술 계열사를 이끌다가, 2022년 KB국민은행 금융AI센터에 합류했다.

KB국민은행 금융AI센터는 어떤 일을 하는 조직인가?

금융AI센터는 은행의 조직이면서 금융지주의 겸직 조직이다. 계열사 지원도 가능한 상태인데 AI 기획, 전략, 가이드라인, 거버넌스 관련해 큰 틀을 짠다. AI와 관련해 독립성을 가지고 지주사, 계열사와 협업을 할 수 있는 구조가 되어 있다.

AI 기술의 내재화도 진행한다. 금융특화 모델인 ‘KB-스타’를 만들었다. 내부적으로 금융특화 모델의 성능이 좋다는 답을 내렸다. 금융에 필요한 AI 기술을 내재화해서 내부에 확산하는 역할을 한다.

예를 들어 모바일에 들어가는 AI 금융비서를 만들어서 클로즈 베타테스트를 하고 있다. 지금은 타겟 앱을 정하진 않았고, 사용자 수가 적은 리브 넥스트의 실험실에서 테스트를 하고 있다. 가상인간으로, 반응 속도가 빠르다.

또 저희 역할 중에 여러 업무가 있는데, 어디에 AI를 적용하면 효율적일 것 같다는 것을 발굴해 현업 부서에 제안을 한다. 현업 부서에서 이를 듣고 금융AI센터가 서포트해줄 수 있는지, 아니면 업체를 소개시켜줄 수 있는지 탐구 활동을 한다.

신기술을 알려주고 도입을 검토할 수 있도록 하는 에반젤리스트 같은 역할도 한다. 챗GPT 등장했을 때 곧바로 경영진에게 관련 동향과 전망을 보고하고, 은행원들이 참가한 연수원 프로그램에서도 GPT 관련 강연을 했었다.

KB국민은행이 직접 AI를 개발하는 이유가 있나?

생성형AI 쪽으로 가면서 이제 진짜 데이터를 가진 회사들이 중요하다는 생각이 든다. 과거에는 통계나 수학적으로 쓰던 정형 데이터가 중요했다. 과거에 가지고 있던 데이터가 크긴 했지만 그때 쓰던 용도와 생성형AI에 쓰는 용도는 다르다. 내부적으로 가치 있는 데이터를 보유한 곳들이 많다. 이런 데이터를 직접적으로 활용하는 방법을 고민 중이다.

또 금융은 특성상 정확해야 하고 신뢰성이 있어야 한다. 잘못되면 과징금을 내거나 후속적으로 생기는 문제들이 어마어마하다. (생성형AI의) 범용 모델을 가져다 쓴다거나 단순히 어떤 사업자에게 맡기기에는 리스크가 상당히 크다.

지금 GPT도 기복이 심하다. 기본적으로 최신 버전이 가장 좋은 상태여야 하는데 그렇지 않다. 지금 생성형AI도 정돈이 안 되어 있는 상태인 것 같다. 그래서 당장 도입하는 것보다 다양한 모델을 실험해보면서 경험하는 것이 중요하다.

금융특화모델을 만든다고 한다면, GPT나 람다 등 파운데이션 모델에 데이터를 더해서 만드는 것인가?

아직 GPT는 도입하지 않았다. 버트, 알버트, 일렉트라 세가지로 KB-스타를 만들었다. 국민은행의 데이터를 활용해 만들었고, 버전 1.0부터 해서 지금 3.0까지 나왔다. 후속 계획은 더 발전시키기보다 내부에서 수요가 있을 때 빨리 가져다 쓸 수 있도록 플랫폼을 유연하게 만드는 것이다. 그래서 지금은 고도화 작업에 집중을 하고 있다.

GPT 같은 생성형AI에 대한 연구도 진행 중인가?

내부적으로 지난 4월 GPT모델이 들어간 생성형AI를 은행원, 유관부서 등 직원들이 써볼 수 있도록 데모 사이트를 만들었다. 예를 들어 코딩, 초안 작성 등을 유관부서에서 쓸 수 있도록 했다. 당시 다른 회사들은 개념검증(POC)을 해볼까 아니면 제안요청서(RFP)를 내놓을까 고민하던 때였는데, 개인적으론 이런 것들이 눈높이가 비슷해야 한다고 생각해서 사이트를 오픈하게 됐다. 이걸 쓰면서 직원들이 비슷한 눈높이로 올라왔다. 그리고선 지금 태스크포스팀(TFT)을 돌리고 있다.

지금 유스케이스 발굴은 다 끝났고 실제로 적용해보는 단계다. GPT 등 모델별로 다 테스트가 되어 있고, 방법도 프롬프트 엔지니어링을 통해서 하는 것들이 있다. KB금융그룹 안에서 은행, 카드사, 증권사, 손해보험사 등 각각이 무엇을 해보겠다는 주제를 선정했고, 프롬포트 엔지니어가 필요한지 아니면 내부에 데이터 사이언티스트가 필요한지 각각의 상황별로 주제를 정해서 돌고 있다.

Poc(개념검증)가 끝나면 배우는 것이 있을 것이다. 지금 당장 어디 사업에 적용하는 것이 중요한게 아니라, 쓸만한지 파악이 되어야 한다. 그 결과에 따라서 내년에 사업이 나올 것이다.

그러면 고객, 내부 직원들이 일상에서 생성형AI 결과물을 이용할 수 있는 시기는 내년인가?

그렇다. 은행은 할루시네이션(허위정보생성)에 굉장히 민감하다. 숫자 하나가 틀려도 안 되고 최신성도 중요하다. 따라서 우선 대고객 서비스보다 내부에서 활용하는게 우선이다. 챗봇 등으로 채팅이 잘 된다는 것은 알고 있지만, 기업간기업(B2B)나 기업간정부(B2G)에서 직접적으로 생성형AI를 적용해서 대대적으로 서비스를 출시하는 곳은 아직 없다. 다 (지켜)보고 있는 상태로 보여진다.

내부적으로 유스케이스를 잘 정리했다고 했는데, 대표적인 사례 몇 개를 소개한다면?

아직은 소개할 수 있는 단계는 아니다. 다만, 지금 생성형AI로 할 수 있는 몇 가지가 이미 나와 있다. 챗봇, 컨택센터 등이다. 국민은행의 경우 코드리뷰도 중요하다. 코드 역량이 중요하기 때문에 코드를 요약하는 것, 초안을 작성하는 것, 질의 응답하는 것 등 복잡한 내용에 대해서 잘 한다는 카테고리가 이미 나와 있다.

금융권 같은 경우 다른 데보다 질문의 난이도가 복잡하다. 개인이든 기업이든 고객이 가진 조건이 다르기 때문이다. 거기에 맞는 답변을 해줄 수 있는 것은 생성형AI 모델로 가능해보인다. 물론 할루시네이션을 줄일 수 있는 방법을 각 사에서 찾아가고 있으나, 0이 될 것이라곤 생각하진 않는다.

특히 금융권은 할루시네이션이 조금이라도 있으면 안되는 거 아닌가?

그게 가능한 영역을 찾아야 한다. 크리티컬한 것은 중간에 사람이 한 번 체크하는 과정이 있어야 한다. 사람이 아니라면 중간에서 검토할 수 있는 다른 뭔가가 있어야 한다. 시스템이든 매커니즘이든 있어야 한다고 생각한다.

AI 기술을 내재화하고 있는 것 같은데, 기술 내재화가 KB금융그룹의 모토인가?

내재화의 의미를 여러 가지로 혼용해서 쓰고 있다. 이때 말하는 AI 기술의 내재화는 맡겨놓더라도 내가 알아야 한다는 뜻이다. (KB금융그룹은) 실제 연구개발(R&D) 조직이 있고, 기술이 상향평준화되어 있어서 자체적으로 해볼 수 있는 여건이 되기 때문에 중장기적으로 봤을 때 비용이 절감된다.

AI를 하기 위한 데이터는 충분히 가지고 있나?

데이터는 많다. 다만, 생성형AI 시대에 필요한 데이터셋은 전체적으로 문제다. 기존에 바우처 사업하듯이 하는 그런 데이터를 쓸 수는 없다. 생성형AI에 맞는 데이터셋이 필요하다.

그런 데이터셋은 어떤 특징이 있나?

질문과 답변의 형태로 되어 있어야 한다. 지금 챗GPT를 질문을 하면 이렇게 대답하는 거야라는 방식으로 학습을 시키고 있다. 그러나 과거에 질문과 답변이 많다고 해서 성능이 좋은 것이 아니다. 적절한 질문에 적절한 답변이 들어가야 성능이 좋아진다.

킬러 서비스가 될 만한 사례가 있나?

생성형AI는 (어떻게든) 답변을 찾아온다. 그러니까 지엽적인, 부분적인 기능으로 쓰는 것을 과거 AI였다고 하면 이제는 처음부터 끝까지 완결성을 가진 AI가 가능해진다.

LLM은 AI가 거기에 대해 답을 잘 해준다고 하면 업무 역량이 올라갈 것이고 일의 속도가 빨라지고 휴먼에러는 줄어들 것이다. 결국 사람들의 성장이다. 이렇게 된다면 사람들은 단편적인 지식을 외우고 배우기보다 잘 응용해서 다른 가치를 만들어내는 데 집중을 할 것이다.

예를 들어, 영업점 직원이 시스템에서 고객이 원하는 것을 찾아내야 한다. 그것을 잘 찾기 위해선 시간이 오래 걸릴 수도 있다. 기존 챗봇이 아니라 에이전트 같은 것이 있다고 하면 복잡한 질문에 대한 답을 금방 가져오고 근거도 제시해주면 이만큼 좋은 것이 없다.

AI 은행원의 모습을 어떻게 그리고 있나?

국민은행이 AI 은행원을 만들면서 가장 중점을 두고 있는 것은 겉으로 보이는 것이 아니다. 관련 팀에게도 요청했던 것은 확장 가능하고 유연한 뭔가를 만들어야 한다고 얘기했다. 기능을 추가하기 위해 기존에 있는 걸 무너뜨려야 하면 안된다. 확장가능해야 한다. 안에 있는 데이터들이 충분히 잘 결합될 수 있도록, AI 기술도 빠르게 변하고 있으니 컴포넌트처럼 쉽게 교체할 수 있게 확장성을 가지고 있는 세트를 만들어놓으면 고객의 사용목적에 따라 빨리 발전시킬 수 있다. 지금은 모바일이 중심이지만 디바이스가 어떻게 바뀔지도 모른다.

‘KB-스타’라는 AI 텍스트 분석 기술을 보유하고 있는데, 소개를 해달라.

텍스트 분석에 대한 총체, 텍스트 애널리틱스다. 용도는 다양하다. 내부 그룹웨어 검색에도 들어가 있고 자산운용센터에서 비정형 데이터인 뉴스, 리포트 등 긍정적인 뉴스나 주요 키워드는 무엇이라고 알려준다. 또 챗봇, 콜봇 등 고객 분석하는 데도 쓰고 KB AI OCR이라고 해서 이미지에서 텍스트를 추출하기도 한다.

KB-스타의 근본 기술은 어떤 걸로 되어 있는 것인지?

버트, 알버트, 일렉트라다. 현재 KB-스타가 3.0 버전까지 고도화됐고 (기능적인) 고도화를 한다기보다, 잘 쓰게 하는 것에 대한 플랫폼적인 측면에서 고도화를 하는게 있다. 일각에선 생성형AI가 나오면 개발을 중단해야 하는 것이냐고 얘기를 하는데, 개인적으로는 하이브리드로 써야 한다고 생각한다. 우리가 LLM을 어떻게 써야 되는지 용도 정의가 정확하게 되어 있지 않고 여기에 대한 과금체계도 명확하지 않고 효과도 장담할 수 없다. 또 할루시네이션의 문제가 해결이 돼야 적극적으로 쓸 수 있을 것 같다.

다른 금융사들도 AI를 개발하고 있는데, KB만의 차별화된 요소는 무엇인가?

고객을 이해하는데 AI를 활용해야겠다는 경영진들의 (마인드) 자체가 경쟁력이 있다고 생각을 한다. 또 다른 하나는 진심이다. 지금 강조하고 있는 것이 AI 윤리와 거버넌스다. 무언가 통제를 하려는 것이 아니라 활성화를 하려면 기반이 다져있어야 하는데, 이것이 없는 상태에서 무언가를 하게 되고 문제가 생긴다면 축소되고 위축될 수 밖에 없기 때문이다.

특히 현업에 대해서도 오픈되어 있다는 것이다. 견제하거나 배척하는 것이 아니라, 궁금해하려는 모습이 좋다. 실제로 내부에서 GPT 경진대회를 열었는데 영업점 직원이 1등을 했었다. 그만큼 관심이 많다는 증거다. 그러니까 직원들이 비슷한 생각을 하고 비슷한 방향을 바라보는 공통의 프로토콜이 필요하다.