데이터독 “기업의 AI 확장, 운영 역량이 핵심”

데이터독은 기업의 AI 도입 확산 추세 속에 대규모 운영 환경에서 복잡성이 핵심 과제로 떠올랐다고 2일 밝혔다.

데이터독의 ‘2026 AI엔지니어링 현황 보고서(State of Engineering 2026)’에 따르면, 실제 운영 환경에서 AI를 활용 중인 수천개 조직의 데이터를 분석한 결과 AI 시스템이 고도화될수록 운영 복잡성이 누적되는 구조적 문제를 갖고 있다. 현재 약 10개 기업 중 7개(69%)가 3개 이상의 AI 모델을 사용하고 있으며, 이들 대부분은 점점 더 복잡해지는 에이전트 워크플로우를 함께 운영하고 있다.

운영 환경에서 AI 모델 요청의 약 5%가 실패하고 있으며, 이 중 약 60%는 용량 한계에서 비롯된 것으로 나타났다. 이는 AI 기반 애플리케이션에서의 응답 지연, 오류 발생, 서비스 중단으로 직결되고 있다.

AI 도입에서 멀티 모델 전략은 업계 표준으로 자리잡았다. 오픈AI는 63%의 점유율로 여전히 가장 널리 사용되는 AI 모델 제공업체로 나타났으며, 구글 제미나이와 앤트로픽 클로드의 도입률도 각각 20%, 23% 증가하며 빠르게 확대되고 있다.

에이전트 프레임워크 도입이 전년 대비 2배 증가했다. 개발 속도를 높이는 효과가 있는 반면, 운영 시스템에 관리해야 할 구성요소가 늘어나는 부담도 함께 가중되고 있다.

요청당 데이터 처리량도 급증했다. ‘중간 사용’ 팀(사용량 기준 50번째 백분위)의 평균 토큰 수는 두 배 이상 증가했으며, 고사용 팀(90번째 백분위)에서는 무려 네 배에 달하는 증가세를 보였다.

경쟁 심화로 스타트업과 대기업 할 것 없이 AI 배포 속도를 높이고 있다. 그러나 시스템이 확장될수록 통제가 뒷받침되지 않은 속도는 오히려 리스크를 키운다. 실패의 원인이 단순한 기술적 결함을 넘어, 분산된 워크플로우 구조, 과도한 재시도 처리, 비효율적인 라우팅 등 시스템 설계 자체에서 비롯되는 경우가 늘고 있기 때문이다.

얀빙 리 데이터독 최고제품책임자(CPO)는 “AI는 초기 클라우드 시대와 매우 유사한 모습을 보이고 있다”며 “클라우드가 시스템의 프로그래밍 가능성을 높였지만 동시에 관리 복잡성을 키웠듯, AI 역시 지금 애플리케이션 계층에서 같은 변화를 일으키고 있다”고 설명했다.

그는 “결국 경쟁에서 앞서는 기업은 더 나은 모델을 도입하는 데서 그치지 않고, 그 위에 탄탄한 운영 통제 역량을 구축하는 기업이 될 것”이라며 “AI 옵저버빌리티는 10년 전 클라우드 옵저버빌리티가 그랬듯 이제 AI 시대의 필수 인프라로 자리잡고 있다”고 강조했다.

그는 “AI를 신뢰 있게 확장하려면 조직은 GPU 활용률부터 모델 동작, 에이전트 워크플로우에 이르기까지 전체 스택에 대한 실시간 가시성이 필수적”이라며 “가시성과 운영 통제가 확보될 때 비로소 팀은 신뢰성과 거버넌스를 희생하지 않고도 빠르게 움직일 수 있다”고 덧붙였다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network