복잡한 IT 환경에서 진짜 AI옵스를 확보하려면

기업이 활용하고 운영하는 애플리케이션의 환경은 지난 10년 사이 매우 복잡해졌다. 퍼블릭 클라우드의 채택에도 불구하고 사내 데이터센터의 존재감은 여전하고, 외부의 서비스형 소프트웨어(SaaS)와 인공지능(AI) 서비스도 기업 애플리케이션 환경에 포함됐다. 컨테이너 기술을 활용하면서 앱 내부는 더 쪼개졌다. 이제 IT 환경은 더 자주 변한다. 구성요소 간 연결과 의존이 늘어나면서 역동성도 커졌다.

전반적인 IT 기술은 발전했다. 하지만, IT 관리 포인트가 극적인 축소로 이어지진 않았다. 오히려 복잡성이 높아져 안정적인 관리가 더 어려워졌다. 이에 IT 환경을 잘 모니터하고, 문제 발생 시 빠르게 대응해 정상화하는 게 중요해졌다.

시스템이 복잡해지고, 관리 포인트가 분산되면 그에 따른 모니터링 도구도 복잡해진다. 관리 포인트마다 모니터링 솔루션을 개별적으로 운영하는 경우가 많다. 요소 간 연결과 의존성이 커진 현대 애플리케이션 환경에서 분절된 모니터링 환경은 큰 문제를 낳는다.

장애는 전체 환경 어딘가에서 발생하고, 작은 문제가 여러 지점과 연결되며 심각성을 키우는데 포인트마다 다른 모니터링을 하면 종합적으로 상황을 분석하기 어렵고, 구체적인 원인을 찾아내기도 어려워진다.

시스코시스템즈코리아의 김민수 프로(표지 사진)는 23일 <바이라인네트워크>가 개최한 ‘AI 기반 옵저버빌리티와 최신 클라우드 네이티브 운영 전략’ 주제의 웨비나에서 “관리하던 애플리케이션 환경에 대한 인사이트 노하우가 계속 변하고 있고, 가시성이 떨어지는 상황에서 많은 곳에서 모니터링 솔루션을 더 많이 도입해 관리하려 하고 있다”며 “문제는 성능이나 이슈 발생 시 각 도메인별 모니터링 솔루션의 데이터가 연계되지 않아 이슈를 더 관리하기 어려운 체계가 만들어지는 것”이라고 설명했다.

그는 웨비나 강연에서 시스코와 스플렁크 플랫폼의 통합을 통해 운영 데이터를 단일 플랫폼에서 관리하고, AI 기반 옵저버빌리티로 운영 효율성을 최적화하는 방안을 소개했다.

김민수 프로는 “환경에 무관하고 전체 환경의 가시성 획득이 필요한 상황”이라며 “시스코는 관찰(observe), 개입(engage), 조치(action) 등 3가지 축으로 이뤄진 옵저버빌리티 솔루션을 제공해 전체 기술 스택과 환경에 대한 엔드투엔드 가시성을 획득하게 지원한다”고 말했다.

시스코 옵저버빌리티 솔루션은 애플리케이션 관련한 전체 기술 스택과 환경에 대해 가시성을 제공한다. 전체 가시성을 확보한 후 빠른 감지와 분석을 통해 비즈니스에 영향을 주는 모든 이슈에 빠르게 대응할 수 있다. 무엇보다 전체적인 가시성과 빠른 감지를 거쳐 최적화하기까지 실제 조치를 위한 경로를 제공한다.

시스코에서 제공하는 옵저버빌리티 솔루션은 ‘앱다이나믹스’다. 시스코는 애플리케이션 성능 모니터링 도구인 앱다이나믹스를 스플렁크 플랫폼으로 재배치했다. ‘앱다이나믹스 스플렁크’는 스플렁크 플랫폼 상단에 ‘옵저버빌리티 클라우드’와 함께 자리하며, 온프레미스 및 클라우드 인프라의 모니터링과 문제해결도구 역할을 한다.

앱다이나믹스는 사용자 단계부터 애플리케이션, 인프라 등을 모니터링할 뿐 아니라, 맨 뒷단의 데이터베이스까지 포괄적으로 모니터할 수 있는 엔드투엔드 옵저버빌리티를 제공한다. 데이터센터, 멀티 하이브리드 클라우드 등의 모든 인프라 유형을 감시할 수 있고, 파이썬, 자바, C++, ABAP, 노드JS, 닷넷 등의 언어로 작성된 소스코드 레벨, 오라클DB나 각종 관계형 DB, SAP HANA, NoSQL DB 등도 감시한다.

김민수 프로는 “사용자 모니터링의 경우 애플리케이션 서비스를 사용할 때의 성능 이슈를 파악하고, 특정 서비스의 문제가 어느 정도 범위까지 문제를 야기하는 지 정확히 판단할 수 있는 충분한 가시성을 제공한다”며 “특정 지점에서 이슈 발생시 스냅샷, 스텝트레이스 등의 필요 정보를 드롭해 프론트엔드에서 발생하는 문제를 정확하고 빠르게 판단하고 대응할 수 있게 한다”고 설명했다.

앱다이나믹스의 애플리케이션 모니터링은 에이전트 기반으로 전체적인 애플리케이션 트랜잭션 흐름을 파악할 수 있게 한다. 에이전트를 각 지점에 설치해두고 애플리케이션에서 트랜잭션이 발생하면 자동으로 흐름을 추적해 전체적인 시스템 환경의 흐름을 그려준다.

김 프로는 “가시성을 획득하고 문제 발생 시 소스 코드 레벨까지 인사이트를 제공한다”며 “잠재적 이슈를 포함한 여러 이슈 리스트 상에서 실제 문제를 야기한 부분을 소스코드 레벨까지 드릴다운해 어느 오브젝트, 네임, 타입, 클래스에서 문제를 일으키는지 인사이트를 확보할 수 있다”고 강조했다.

서버와 클라우드 환경 모니터링의 경우 아마존웹서비스(AWS), 마이크로소프트 애저, 구글클라우드플랫폼(GCP) 등과 데이터센터에 대한 가시성을 제공한다. AWS 람다 같은 클라우드 서비스마다의 서버리스 환경에 대해서도 가시성을 확보할 수 있다. SAP를 비롯한 외부 소프트웨어 서비스도 모니터링 가능하다. DB의 경우 각종 DB에 대해 다양한 메트릭과 주요 지표를 제공하면서, 각 DB별 속성에 맞게 상세한 정보도 제공한다.

이렇게 애플리케이션 전후반에 걸쳐 전체적인 가시성을 확보하는 건 현재 떠오르고 있는 ‘AI옵스’를 구현하는데 필수적인 요건이다.

김민수 프로는 “AI옵스는 하루아침에 적용할 수 없고 옵저버빌리티를 확보한 다음에야 가능하다”며 “전체적인 가시성을 획득하고, 각 관찰 데이터 소스를 중앙에 집중시킨 상태에서 소스별 연관 관계를 구성한 뒤에야 어느 지점과 도메인에서 문제에 영향을 끼치는 지 판단할 수 있다”고 말했다.

김 프로는 “그런 다음에 자연어 쿼리로 문제와 이슈 정보를 획득하고 정확한 인사이트를 확보할 수 있게 된다”고 덧붙였다.

AI옵스는 IT 워크플로우를 간소화하고, 잠재 문제를 예측하며 사고 대응을 자동화함으로써 궁극적으로 IT 환경의 성능과 효율성을 향상시키는 걸 목표로 한다.

복잡해진 IT 환경에서 핀포인트로 장애 요인을 지목해야 하는데, 관찰 데이터가 이곳저곳에 분절돼 있고 서로 관계성을 갖지 못하면 불가능하다.

김 프로는 “옵저버빌리티를 통해 전체 가시성을 획득하면 이슈 발생시 정확히 어느 시점과 어느 영역에서 문제를 야기하고 어떤 영역이 영향을 받았는지 명확하게 파악할 수 있다”며 “데이터의 연관 관계성을 통해 앱의 비즈니스 서비스 영향이나 최적화, 성능 등 다양한 관점에서 인사이트를 확보하고 분석할 수 있게 된다”고 설명했다.

시스코는 스플렁크 AI 옵스 플랫폼을 통해 옵저버빌리티 다음단계인 AI옵스를 구현하도록 한다.

앱다이나믹스가 엔드투엔드 가시성 확보를 위해 획득하면, 다양한 데이터 소스는 스플렁크 AI옵스 플랫폼으로 중앙화되고 관계성을 갖는다. 스플렁크 서비스 인사이트와 이벤트 애널리틱스 기능을 활용하면 인프라, 네트워크, 보안에 대한 인사이트를 확보하고 이상징후 전 예측으로 선제 대응하게 하며, 이상 감지 후 원인 분석과 조치를 할 수 있다.

김 프로는 “시스코 스플렁크 플랫폼은 개방성과 확장성을 갖고 있어서 시스코의 네트워크 장비뿐 아니라 타사의 장비, 외부의 클라우드 서비스에 대해서도 AI옵스를 제공할 수 있다”며 “굳이 앱다이나믹스를 쓰지 않더라도 기존에 투자한 NPM, APM, DPM나 서비스나우 혹은 지라 같은 ITSM 툴 등을 스플렁크 AI옵스 플랫폼에 연결해 데이터를 중앙화하고 각각에 맞는 KPI를 구성할 수 있다”고 강조했다.

그는 옵저버빌리티를 획득한 후 스플렁크에 중앙화하고, AI옵스를 적용한 예시 아키텍처를 소개했다. 엔터프라이즈 시스템의 옵저버빌리티를 구성하면 스플렁크로 텔레메트리를 가져오고, 중앙화된 스플렁크 AI옵스 플랫폼에서 ‘어플라이이드AI’란 모듈을 사용할 수 있다. 어플라이드AI 모듈은 LLM 모듈, 임베덩, 주피터랩, 벡터DB 등 4가지 요소를 컨테이너화해 스플렁크 상에 탑재할 수 있다.

김 프로는 “이렇게 어플라이드AI를 탑재하면 모든 데이터가 연결되고, 연관 관계가 성립된 상태에서 데이터를 스플렁크 내에서 돌아가는 벡터DB에 인코딩해준다”며 “벡터 DB는 각 LLM 모듈을 찾게 돼 있어 각 데이터가 어떤 맥락을 갖는 지 알 수 있게해주게 된다”고 설명했다.

그는 “인코딩 데이터를 선택한 뒤 어떤 LLM이나 임베더로 한국어나 영어를 쓸 지 선택하고, 챗GPT처럼 자연어로 질문을 날려 각종 인시던트 정보를 확인할 수 있다”고 덧붙였다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network