한국신용정보원 “외부 연결 없는 금융권 로컬 AI ‘MyChat.LM’ 개발”

“금융권은 업무망에서 AI를 자유롭게 쓰지 못한다는 한계가 있는데요. PC와 내부망의 업무 환경에서 AI가 스스로 작동하고 외부 연결 없이 실행할 수 있을까 고민하다, 로컬 컴퓨팅 언어모델 엔진인 ‘MyChat.LM’을 개발했습니다.”

허용준 한국신용정보원 금융AI데이터부 AI개발팀 팀장은 <바이라인네트워크>가 지난 22일 여의도 FKI타워 컨퍼런스센터에서 개최한 ‘금융 테크 컨퍼런스 2026’에서 이같이 밝혔다.

허 팀장은 “금융권에서는 생성형 AI 활용이 확산되고 있지만 여전히 제약이 크다”고 설명했다. 금융권에서 AI 활용을 막는 걸림돌은 모델 자체보다 보안과 AI를 실행할 수 있는 환경에 있다는 것이다.

금융권은 보안 문제로 업무 데이터를 외부 서비스로 전송하기 어렵고, 내부망과 보안망에서는 클라우드 기반 AI를 활용하는 데도 제약이 있다. 여기에 AI 구동에 필요한 그래픽처리장치(GPU) 기반 고성능 서버를 구축·운영하는 데 비용이 많이 들어 AI 활용이 일부 부서나 특정 업무에 한정되는 경우가 많다.

이를 위해 신정원은 MyChat.LM을 개발했다. 외부 AI 서비스에 접속하지 않고 업무용 PC 안에서 AI를 직접 실행하는 방식이다. 사용자가 질문이나 업무 요청을 입력하면 PC 내부의 MyChat.LM이 이를 받아 AI 모델을 실행하고 답변을 생성한다. 대화 기록과 설정, AI 모델 파일도 PC 안에서 관리하기 때문에 업무 데이터가 외부 AI 서비스로 전송되지 않는 구조다.

허 팀장은 “MyChat.LM은 기존 업무용 PC에서 AI를 안정적으로 구동할 수 있도록 모델 파일과 메모리, 중앙처리장치(CPU) 자원을 함께 최적화했다”며 “먼저 PC에서 원활하게 실행할 수 있는 작은 모델을 선정하고 모델 파일을 압축하면서도 성능 저하를 최소화했다”고 설명했다.

이어 “AI가 앞서 입력된 대화 내용을 저장해 두는 KV 캐시도 압축 수준과 재사용 방식을 조정해 메모리 사용량과 처리 속도의 균형을 맞췄다”며 “CPU 역시 코어별 처리 속도를 측정해 사용자별로 적정 자원을 배분하도록 했다”고 말했다.

신정원은 MyChat.LM의 성능을 평가할 때는 업무 품질과 실행 효율을 함께 살폈다. 업무 품질은 한국어 질의응답, 문서 작성·요약, 정보 추출, 코드·구조화 질의어(SQL) 생성 등을 기준으로 평가했다. 실행 효율은 응답 시작 시간과 토큰 생성 속도, 메모리 사용량, 긴 문맥 처리 등을 확인했다.

이를 바탕으로 후보 모델을 비교한 뒤 양자화 방식과 KV 캐시, CPU 코어 설정 등을 조정해 기존 업무용 PC에서 안정적으로 사용할 수 있는 최종 배포 설정을 찾았다는 것이다.

그는 “보안 환경을 유지하면서 AI 활용 범위를 넓히는 데 초점을 맞췄다”며 “외부 전송 경로를 차단하고 내부망·보안망에서 AI를 독립적으로 실행할 수 있으며, 기관별 보안 정책에 맞춰 배포할 수 있다”고 밝혔다.

이어 “추가 인프라 부담도 최소화할 수 있다”며 “기존 업무용 PC 자원을 활용해 GPU와 클라우드 비용 부담을 줄이고, 문서 작성과 코드·SQL 초안 작성 등 반복 업무를 지원해 생성형 AI 활용 경험을 확대할 수 있다”고 말했다.

향후 신정원은 내부 검증을 거쳐 단계적으로 배포할 계획이다. 안정성과 보안성을 우선 확인한 뒤 내부 배포를 시작하고, 이후 금융권과 교육기관 등으로 활용 범위를 확대한다.

지난 6월까지 안정화와 검증을 진행하면서 부하 테스트와 정보기술(IT) 보안 검증을 실시했다. 이어 7~8월에는 보안성과 사용자 피드백을 점검했다. 대규모 언어 모델(LLM)의 보안성을 확인하고 사용자 의견을 반영해 왔다.

이달부터는 내부망과 보안망을 대상으로 정식 배포에 나섰다. 이후에는 금융권 등으로 배포 범위를 넓히고 교육기관에서도 활용할 계획이다. 기관 간 협약을 맺은 뒤 IT 책임 부서를 통해 각 기관의 시스템 환경과 보안 정책에 맞춰 배포한다.

허 팀장은 “MyChat.LM은 개인 업무용 PC에서 실행하는 형태를 넘어 금융권 내부 AI 서비스로 활용 범위를 넓힐 계획”이라며 “PC에서 문서 작성과 번역, 코딩 등을 지원하는 MyChat.LM을 기반으로 모델과 시스템 최적화 기술을 축적하고 이를 금융권 내부 AI 서비스에 활용할 것”이라고 말했다.

이어 “다음 단계에서는 ‘MyChat.LM 서버’를 통해 내부 대규모 언어 모델(LLM) 응용프로그램인터페이스(API)를 제공할 것”이라며 “CPU와 저사양 GPU 서버에서도 운영할 수 있도록 해 내부 시스템에서 AI 기능을 활용할 수 있도록 하겠다”고 밝혔다.

또 “이후에는 ‘MyChat.LM 에이전트’로 확장해 내부 지침과 데이터를 연계하고 특정 금융 업무를 자동화할 계획”이라며 “가명처리 가이던스, 규정 질의응답, 데이터 분석 지원, 내부 문서 탐색 등의 업무에 활용할 수 있도록 하겠다”고 설명했다.

글. 바이라인네트워크
<이수민 기자>Lsm@byline.network