모니터링 통합하고 AI 도입…빗썸의 장애 대응법

가상자산 거래소 운영의 핵심은 인프라 안정성과 신속한 장애 대응이다. 빗썸은 520여개 가상자산의 입출금을 지원하고 130여개 이상의 블록체인 네트워크와 다수의 애플리케이션(앱)을 운영하고 있다. 시스템 규모가 커지면서 서로 다른 모니터링 도구와 분산된 운영 환경으로 인한 관리 복잡성이 과제로 떠올랐다.

오주훈 빗썸 블록체인플랫폼팀 대리는 파편화된 관측 도구를 하나의 화면으로 통합하고 인공지능(AI)을 도입해 장애 감지와 대응 체계를 개선했다. 그는 “장애 처리는 얼마나 많은 데이터를 빨리 보느냐의 싸움이기에 사람이 기계를 이길 수 없다”고 단언했다.

개편 전 빗썸의 모니터링 환경은 여러 도구로 분산돼 있었다. 시스템 상태를 파악하는 지표마다 별도의 수집기를 사용해 에이전트가 6개 이상 운영됐고, 데이터를 조회하는 콘솔도 3개로 나뉘어 있었다. 장애가 발생하면 개발자는 여러 화면을 오가며 데이터를 직접 비교하고 원인을 찾아야 했다. 체계적인 데이터 분석보다 담당자의 경험에 의존하는 경우도 있었다. 오 대리는 “모니터 3대를 쓴다고 가정하면 여기저기 각각 다른 화면을 띄워놓고, 사람이 직접 마우스를 클릭해가며 경험에만 의존해 원인을 찾는 경향이 있었다”고 당시 상황을 설명했다.

이러한 문제를 해결하기 위해 빗썸 플랫폼팀은 통합 모니터링 플랫폼인 데이터독을 도입했다. 팀 인원이 6명인 만큼 적은 인력으로 운영 효율을 높이려면 여러 기능을 한곳에서 제공하는 솔루션이 필요했다. 도입 이후 로그·메트릭·트레이스 등 흩어져 있던 주요 관측 데이터를 한 화면에서 확인할 수 있게 됐으며, 기존 140여개 모니터링 리소스도 새 환경으로 이관했다. 이에 따라 장애 발생 시 관련 정보를 한눈에 파악할 수 있게 돼 개발자의 업무 부담도 줄었다. 오 대리는 “적은 인원으로 최대한 많은 솔루션을 한 번에 제공하고자 데이터독을 유일한 대안으로 판단했다”고 도입 배경을 밝혔다.

최근 빗썸이 겪었던 아마존웹서비스(AWS) 볼륨 서비스 관련 문제가 대표적인 활용 사례다. 당시 오류가 동시다발 발생해 거래소 자체 인프라 문제인지 외부 요인인지 단번에 파악하기 매우 어려운 상황이었다. 이때 AI에 조사를 맡기자 여러 연관 지표를 종합적으로 분석해 외부 결함 사실을 정확히 짚어냈다. 이를 통해 장애 원인을 파악했을 뿐 아니라 향후 유사한 문제에 대비한 아키텍처 설계에 참고할 정보를 얻었다. 오 대리는 “사람이 하면 30분 걸릴 일을 AI는 편견 없이 한 번에 전부 조사해 원인 후보와 해결책을 나열해준다”며 “또 정확한 원인을 파악해 향후를 대비할 아키텍처 설계 인사이트를 얻을 수도 있었다”고 덧붙였다.

신기술 도입에 따른 보안과 비용 문제에도 통제 장치를 마련했다. 빗썸 플랫폼팀은 모니터링 인프라를 내부 비즈니스 로직과 분리해 운영하며, 고객 정보 등 민감한 데이터에 접근할 수 없도록 설계했다.

AI 관련 권한도 상시 부여하지 않는다. 실제로 데이터 확인이 필요한 경우에만 권한을 발급하고, 8시간 동안 사용할 수 있도록 제한해 불필요한 사용을 방지한다. 오 대리는 “누군가 권한을 계속 가지고 있으면 운영자 입장에서 용처를 파악할 수 없기 때문에, 증적을 남긴 시간부터 일정 시간만 확인하도록 제약을 뒀다”고 짚었다.

현재 빗썸 플랫폼팀은 시스템 이상 징후 탐지와 관련 조사 초안 작성을 AI에 맡기고 있다. 실무진은 AI가 제시한 원인을 검증하고 운영 정책을 수립하는 데 집중한다. 나아가 경보 발생부터 장애 접수, 문제 해결까지 전 과정을 자동화하는 환경을 구축할 계획이다.

오 대리는 “피치 못할 상황에서 장애가 발생하더라도 서비스 영향도를 최소화해 복구하는 것이 최우선 목표”라며 “최종적으로는 사람의 손을 거치지 않는 100% 자동화가 가능할 것”이라고 전망했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network