11일 바이라인플러스에서 진행한 온라인 웨비나에서 김문식 엘라스틱 수석 솔루션 아키텍트가 발표하고 있다. (출처=바이라인네트워크)
| |

AI 장애 대응, 과거 데이터가 좌우한다…엘라스틱 “삭제보다 보존”

기업이 정보통신기술(IT) 인프라 운영 비용을 절감하기 위해 과거 데이터를 삭제할 경우 인공지능(AI) 기반 시스템 장애 대응 기능이 저하될 수 있다는 지적이 나왔다. AI가 장애 원인을 정확하게 파악하려면 정상 작동 당시의 시스템 수치와 과거 장애 조치 기록 등 사전 맥락 정보(컨텍스트)가 충분히 보존돼 있어야 한다는 이유에서다.

기업이 장비 유지비와 데이터 보관 비용을 줄이기 위해 필요한 데이터를 수집하지 않거나 일정 기간 보관한 뒤 삭제하면, 장애 발생 시 AI가 원인을 분석하는 데 필요한 기초 자료가 부족해질 수 있다. 이 경우 AI 모델이 아무리 뛰어나더라도 명확한 판단 근거를 확보하기 어려워 구체적인 원인을 특정하지 못하고 일반적인 추측에 그칠 수 있다는 지적이다.

김문식 엘라스틱 수석 솔루션 아키텍트는 최근 바이라인플러스에서 진행한 온라인 웨비나에서 ‘AI 시대 옵저버빌리티(Observability) 전략: 데이터 가시성과 비용 효율을 함께 확보하는 방법’을 주제로 발표했다.

옵저버빌리티는 시스템에서 수집한 데이터를 바탕으로 내부 상태를 파악하고 문제의 원인을 분석하는 체계를 의미한다. 이날 웨비나는 애플리케이션과 장비에서 생성되는 상태 지표와 작동 기록 등 텔레메트리 데이터가 증가하면서 기업들이 직면한 데이터 보관 비용 문제를 해결하기 위해 마련됐다. 더불어 데이터 수집 대상을 줄이거나 보관 기간을 단축하는 대신, 데이터를 보존하면서 저장 비용을 낮출 수 있는 기술적 방안과 이를 AI의 판단 근거로 활용해 장애 원인 분석 및 복구 시간을 단축하는 실무 방안을 공유했다.

최근 기업의 IT 서비스 환경은 여러 클라우드와 마이크로서비스 단위로 분산돼 운영되는 추세다. 하나의 사용자 요청이 여러 서비스와 인프라를 거치는 만큼 전체 흐름을 파악하려면 세 가지 핵심 데이터가 필요하다. 시스템에서 발생한 이벤트를 기록하는 로그, 시스템 상태와 변화를 수치로 나타내는 메트릭, 요청이 거쳐 간 경로와 지연 구간을 추적하는 트레이스다.

문제는 수집하는 데이터가 늘어날수록 스토리지 비용 부담도 커진다는 점이다. 이에 일부 기업은 장비 유지비를 줄이기 위해 데이터 보관 기간을 30일 이내로 단축하거나 비용 부담이 큰 특정 데이터를 수집 단계에서 제외하고 있다.

다만 과거 데이터를 성급하게 삭제하면 시스템 운영 전반과 장애 대응에 차질이 발생할 수 있다. 장애 발생 후 원인을 분석하는 것뿐 아니라 사전에 이상 징후를 감지하는 과정에서도 과거 데이터는 중요한 역할을 하기 때문이다. 서비스 수준 목표(SLO) 위반 알림 기능은 특정 시점의 지연 수치만으로 경고를 보내는 것이 아니라, 설정된 오류 예산이 얼마나 빠르게 소진되는지 일정 기간의 추이를 분석해 장애 위험을 판단한다.

머신러닝 기반 이상 탐지 기능도 과거 기록을 바탕으로 정상적인 시스템 상태를 학습한다. 예를 들어 점심시간마다 접속자가 늘어나는 반복적인 패턴을 장애로 오인하지 않으려면 최소 수주 분량의 데이터를 분석해 시간대별 정상 범위를 파악해야 한다. 평소 150밀리초(ms) 안팎이던 지연 시간이 특정 새벽 시간대에 700ms를 넘기는 등 평소와 다른 변화도 과거 데이터와 비교해야 사전에 감지할 수 있다.

따라서 텔레메트리 데이터를 장기간 보존하는 것은 장애 발생 후 원인을 분석하는 데 그치지 않고, AI가 정상적인 시스템 패턴과 이상 징후를 구분해 사전에 대응할 수 있도록 하는 데도 필요하다.

데이터 부족으로 인한 한계는 사전 이상 징후 탐지뿐 아니라 실제 시스템 장애 발생 시에도 나타난다. 예를 들어 신규 서비스 배포 직후 결제 승인 애플리케이션 프로그래밍 인터페이스(API)에서 지연과 오류가 급증하면, 과거 정상 작동 당시의 기록과 비교해 현재 상태가 비정상적인지 판단해야 한다. 하지만 지난 분기나 전년 동기 등 비교에 필요한 데이터가 삭제됐다면 장애 원인을 분석할 근거를 확보하기 어렵다.

김 수석 솔루션 아키텍트는 “비용 절감을 위해 제외한 데이터가 정작 장애 발생 시 원인을 조사하는 데 필요한 핵심 근거일 수 있다”며 “분석에 필요한 데이터가 부족하면 대응 인력이 직접 여러 시스템을 확인해야 해 투입 인력이 늘어나고 원인 파악도 늦어질 수 있다”고 지적했다.

AI 에이전트를 활용한 장애 원인 분석에서도 모델 자체의 성능보다 입력 정보의 양과 질이 결과에 더 큰 영향을 미치는 것으로 나타났다. 동일한 결제 승인 지연 상황과 언어 모델을 대상으로 세 가지 질의 방식을 비교한 시뮬레이션에서도 이러한 차이가 확인됐다.

첫 번째로 장애 알림 문구만 AI에 입력했을 때는 구체적인 원인을 찾지 못하고 일반적인 지연 원인을 나열하는 데 그쳤다. 두 번째로 오류 코드를 기준으로 단순 검색한 뒤 로그 원문을 입력한 경우에도 핵심 운영 지침서인 런북을 찾지 못했다. 런북에는 ‘타임아웃’ 대신 ‘응답 지연’이라는 표현이 사용돼 있어 단순 키워드 검색만으로는 관련 정보를 찾기 어려웠기 때문이다.

반면 하이브리드 검색을 적용한 세 번째 방식에서는 다른 결과가 나왔다. 키워드 검색과 문맥적 유사성을 파악하는 벡터 검색을 함께 활용해 과거 정상 작동 이력과 주요 로그, 런북, 과거 장애 기록 등을 관련도에 따라 선별했다. 그 결과 두 번째 방식보다 AI 모델에 전달된 정보량은 적었지만, 장애 원인과 구체적인 조치 절차를 도출할 수 있었다고 김 수석 솔루션 아키텍트는 설명했다. 이어 “AI가 내놓는 답변의 정확도는 모델의 성능보다 우리가 넘겨주는 데이터, 즉 컨텍스트(Context)가 결정한다”며 “아무리 훌륭한 모델을 도입하더라도 남겨둔 데이터가 없으면 단순한 추측성 답변밖에 낼 수 없다”고 덧붙였다.

텔레메트리 데이터와 런북의 운영 지식을 결합해 장애 원인 분석을 마치면 워크플로우에 따라 후속 조치가 진행된다. 다만 AI가 도출한 복구 방안을 모두 자동으로 실행하는 것은 아니다. 정보 조회나 담당자 알림, 장애 케이스 생성 등 단순 작업은 자동으로 처리하지만, 서비스 재시작이나 외부 시스템 설정 변경처럼 운영 환경에 영향을 줄 수 있는 작업은 별도의 승인 절차를 거친다. 운영자가 AI의 분석 근거와 복구 방안을 검토한 뒤 승인 여부를 입력해야 실제 조치가 이뤄지는 방식이다.

김 수석 솔루션 아키텍트는 “장애 조사에 필요한 데이터는 비용 절감을 이유로 일괄 삭제하기보다 비용 효율성이 높은 스토리지를 활용해 최대한 오래 보관해야 한다”며 “보존한 데이터를 정확한 맥락에 맞게 연결해 AI에 제공해야 기업의 장애 대응 속도를 높일 수 있다”고 강조했다.

글. 바이라인네트워크
<김원민 기자>wmkim627@byline.network

일간 바이라인 구독하기

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다


The reCAPTCHA verification period has expired. Please reload the page.