F5 “한국 기업 55%, AI 추론 워크로드 운영 중”

국내 기업의 절반 이상(55%)이 이미 인공지능(AI) 추론 워크로드를 실제 운영 중인 것으로 나타났다. 멀티클라우드 및 애플리케이션 보안 기업 F5는 최신 연례 보고서를 통해 AI가 시험 단계를 넘어 비즈니스의 핵심 운영 현실로 자리 잡았으며 기업들이 단순한 편의성보다 강력한 보안과 통제력을 우선시하고 있다고 26일 밝혔다.

전 세계 수백 명의 엔터프라이즈 IT 및 보안 리더 설문을 바탕으로 한 이번 조사에 따르면 국내 기업의 55%는 이미 AI 추론 워크로드를 운영하고 있다. 전체 애플리케이션의 40~60%에 AI를 적용하고 있는 것으로 나타났다. 이는 AI가 비지니스 핵심요소로 부상하면서 기업들이 편의성보다 통제력을 우선시하고 있음을 명확히 보여주는 결과이다.

이형욱 F5코리아 지사장은 “이제 기업의 고민은 AI를 도입할지 여부가 아니라 이를 얼마나 안정적이고 안전하게 대규모로 운영할 수 있는가의 문제”라며 “AI 보안은 거버넌스와 통제 체계를 얼마나 정교하게 갖추느냐의 문제로 옮겨가고 있고 이 변화를 먼저 읽은 기업이 더 빠르고 안정적으로 대응할 수 있을 것”이라고 말했다.

AI는 더 이상 일시적인 시도나 앞으로의 과제가 아니라, 일상적인 비즈니스 성과를 뒷받침하는 운영 현실이 됐다. 국내 기업들은 현재 프로덕션 환경에서 평균 2~3개의 AI 모델을 운영하고 있으며, 65%는 실시간 운영 자동화를 위해 AI를 활용하고 있다. 이는 AI 시스템의 운영 거버넌스가 한층 중요해지고 있음을 보여준다. 기업들은 추론을 애플리케이션 스택에 통합된 관리형·정책 기반 워크로드로 다루고 있으며, 다른 프로덕션 시스템과 마찬가지로 동일한 수준의 아키텍처, 보안, 확장성 요구사항을 적용하고 있다.

서비스형 AI(AI-as-a-Service, AIaaS) 전략은 위험 부담이 크고 오늘날 엔터프라이즈 환경의 현실과 맞지 않는다는 인식이 널리 퍼져 있다. 퍼블릭 AI 서비스에만 의존하는 기업은 8%에 불과하다. 압도적 다수의 기업은 다양한 모델 포트폴리오를 구축하고 있으며, 비용, 정확도, 가용성을 관리하기 위해 정교한 라우팅, 장애 대응(fallback), 정책 제어 역량을 필요로 하고 있다.

조사 결과로도 나타난 흐름은 멀티클라우드·멀티환경 운영 확대라는 현황을 반영한다. 국내 기업의 74%는 복수의 퍼블릭 클라우드 사업자를 이용하고 있으며, 68%는 온프레미스 데이터센터를 여러 곳에서 운영하고 있고, 72%는 코로케이션 환경을 다변화해 활용하고 있다. AI 워크로드 역시 비용, 정확도, 가용성을 최적화하기 위해 고도화된 라우팅, 장애 대응, 정책 제어를 요구한다.

AI 시스템이 본격적인 프로덕션 단계에 들어서면서 보안은 전사 차원의 최우선 과제가 됐다. 국내에서는 56%의 기업이 AI 워크로드의 높은 비용을 가장 큰 과제로 꼽았고, 51%는 에이전트ID(Agent Identities)의 급격한 증가로 인한 문제를 예상하고 있다고 답했다. AI 도입이 확대될수록 더욱 강력한 거버넌스, 비용 통제, 보안 프레임워크가 필요하다는 점을 보여준다.

국내에서는 36%의 기업이 프롬프트 계층을 가장 중요한 서비스 제공 메커니즘으로 꼽았고, 21%는 서비스 제공과 보안을 위해 토큰 계층과 제어 계층을 우선시한다고 답했다. 이들 계층에 대한 거버넌스를 확보하는 것은 비용, 성능, 안전성을 최적화하는 핵심 요소이며, 인프라에만 집중하는 기업보다 경쟁 우위를 확보하는 기반이 될 수 있다.

글. 바이라인네트워크
<오민선 기자>omsoms94@byline.network