성공적인 기업 AI 에이전트 활용, 관건은 ‘설명가능성·정확도·통제’ 확보

통합 AI 플랫폼 ‘데이터이쿠’, LLM옵스 프레임워크 구축, AI 에이전트 통제 관리 방안 제시

대부분의 기업에서 인공지능(AI) 에이전트를 실제 업무에 사용하고 있는 것으로 나타났다. 많은 기업이 핵심 프로세스에 에이전트를 사용하고 있을 만큼 적극 활용하고 있지만, AI의 환각이나 오류로 인한 정확성과 신뢰성이 부재하고 비즈니스에 문제를 발생시킬 수 있는 리스크에 대한 우려가 공존하고 있는 상황이다.

데이터이쿠(Dataiku)는 지난 5일 ‘AI 레디 데이터(AI-Ready DATA) 전략’을 주제로 열린 바이라인플러스 웨비나에서 전세계 800명의 데이터 부문 고위 임원(데이터 리더)을 대상으로 실시한 조사 결과를 담은 ‘글로벌 AI 실태 보고서’ 핵심 내용을 소개했다.

발표를 맡은 전병문 데이터이쿠 이사는 “이 조사에서 응답자의 86% 이상이 업무에 AI 에이전트를 이용하고 있고, 핵심 프로세스에 사용할 정도로 AI 에이전트에 의존하고 있는 기업들도 절반에 달하는 수준”이라며 “기업에서는 AI 에이전트를 단순 운영업무 자동화에 더 효과적으로 인식하고 있어 AI를 중요한 비즈니스 의사 결정에 활용하기까지 해결해야 할 문제들이 남아 있다. AI가 생성하는 응답이 설명가능성과 정확성이 부족하고 섀도우IT 리스크가 발생할 수 있다”고 지적했다.

전 이사가 발표한 보고서 주요 내용에 따르면, 조사에 응답한 데이터 리더의 86% 이상이 기업 업무에 AI 에이전트를 이용하고 있다. 또 절반에 달하는 기업은 핵심 프로세스에 사용할 정도로 에이전트에 크게 의존하고 있다. 2025년 전세계 주요 국가들의 AI 현황을 살펴보면 미국이 가장 높은 도입률을 나타내는 가운데 중국, 싱가포르, 영국, 독일, 이스라엘에 이어 한국은 7위에 올랐다. 미국과의 도입률 격차는 미국은 85% 이상이며, 한국은 67%로 나타났다.

AI 에이전트를 많이 사용하고 있긴 하지만, 응답자의 64%는 AI 에이전트가 고차원적 비즈니스 판단보다 단순 운영 업무 자동화에 더 효과적이라고 답했다. 고용, 규정 준수 등과 같은 중요 직무에 AI 에이전트를 전면 활용하겠다는 응답은 11%에 불과하다. 그 이유로는 AI가 생성한 응답의 근거를 설명하지 못하거나 정확성이 떨어지기 때문이다.

그리고 19%의 응답자는 AI 에이전트가 만든 결과물이 어떤 과정을 거쳐서 만들어졌는지에 대한 설명을 요구하고 있어, 아직까지 답변 도출 과정을 꼼꼼하게 신경 쓸 정도로 중요한 업무에 AI 에이전트를 적용하고 있는 기업의 비율은 적은 상황이다.

아울러 데이터 리더 5명 중 4명은 ‘AI가 판단한 결과는 정확해도 설명할 수 없는 경우’를 더 큰 리스크라고 판단하고 있다. AI가 판단한 결과의 정확성과 설명가능성 두 가지 중 리스크에 더 큰 영향을 미칠 요인으로 대부분 설명가능성을 꼽았다.

그럼에도 불구하고 72%의 리더들은 설명성이 떨어져도 중요한 의사결정에 사용할 것이라고 답했다. 80% 이상은 AI 에이전트의 의사결정에 자신의 직위를 걸 수 있다고 답했다. 그만큼 AI에 대한 도입과 활용 의지가 크다는 점을 알 수 있다.

응답자의 47%는 AI 기반 의사결정을 허용하기 전에 필요한 정확도의 수준을 80~90%로 비교적 높게 설정하고 있지만, 95~100%까지 요구하는 비율은 15%에 그쳐, 아직까지는 AI에 사람에게 기대하는 높은 기준을 설정하고 있지는 않다는 게 데이터이쿠의 분석이다. 38%는 정확도가 80%에 못 미치는 경우까지도 수용할 수 있다고 답해, 아직까지는 비교적 AI에 관대한 잣대를 가지고 있는 것으로 보인다.

이같은 긍정적인 시각에도 불구하고 글로벌 기업들은 AI 활용에서 다양한 문제를 겪고 있다. 응답자의 59%는 AI 에이전트가 만들어낸 환각(hallucination))이나 부정확성(inaccuracy)으로 인해 비즈니스 문제를 겪은 경험이 있다. 또 절반에 가까운 데이터 리더들은 에이전트를 구축했지만 성능이 기대에 미치지 못하거나 가치를 창출하지 못한다는 이유로 사용을 중단한 경험이 있다고 답했다.

전 이사는 “글로벌 리더들이 공통적으로 주목하는 AI 키워드는 ‘설명가능성, 정확도, 통제’ 세 가지”라며, 기업의 성공적인 AI 에이전트 활용을 위해 필요한 이들 세가지 과제를 해결할 수 있는 방안을 제시했다.

먼저 설명가능성 문제는 “사람이 채울 수 있어야 한다”며 “AI를 적극 활용하더라도 그 주체는 사람인 것은 앞으로도 변하지 않는다. 수동적으로 AI가 만들어낸 결과를 받아들이기보다 능동적으로 판단하고 이해하기 위한 과정이 필요하다”고 강조했다.

실제로 조사 결과, 91%의 데이터 리더들 역시 비즈니스 전문가, 즉 현업 담당자가 개입될 때 AI 성과가 더욱 개선될 것이라고 내다봤다. 전 이사는 “AI 에이전트의 워크플로우에서 사람이 어떻게 개입할 지, 휴먼인더루프(Human-in-the-Loop)를 잘 구성할 수 있는 방법을 충분히 고민할 필요가 있다”고 제안했다.

이어 정확도 이슈 해결 방안으로는 “성능 좋은 모델을 채택하거나 프롬프트를 바꾸는 한 가지 방식이 아니라 데이터 전처리, 배포 시 모니터링, 비용, 결과물 품질관리를 아우르는 전체 대규모언어모델운영(LLMOps, LLM옵스) 프레임워크를 구축하고 유지할 수 있도록 고민해야 한다”고 말했다.

그는 “통제에 관한 부분은 얼마나 많은 기술들을 표준화된 관점에서 통제할 수 있느냐가 중요할 것”이라며 “하루가 멀다 하고 새로운 AI 기술이 쏟아져 나오는 환경에서 전통적인 시스템 구축 방식으로 에이전트나 AI 서비스를 구축하면 많은 리스크를 떠안아야 하는 상황이 발생할 수 있다. 상용 LLM 서비스의 경우 사용량을 기반으로 비용이 발생하고, 로컬 LLM도 그래픽처리장치(GPU)를 비롯해 많은 서버 자원을 사용하기 때문에 보다 쉽고 효율적으로 통제할 수 있는 대응책이 필요하다”고 제시했다.

전 이사는 “데이터이쿠는 AI 에이전트를 구축하고 운영하기 위해 필요한 모든 요소를 갖추고 있는 단일 플랫폼으로, 사람이 AI를 잘 활용할 수 있도록 지원한다”며 “데이터 전문가 등 기술 전문가와 비즈니스 전문가 모두가 사용할 수 있고, 쉽게 AI 에이전트와 생성형 AI 애플리케이션들을 손쉽게 만들고 관리할 수 있는 다양한 인터페이스를 제공하고 있다”고 설명했다.

아울러 “데이터이쿠는 생성형 AI가 등장하기 이전부터 머신러닝(ML)옵스 환경 구현을 위해 다양한 데이터 전처리와 통계 분석, ML 기술들을 제공해 왔다. 이같은 기능들을 잘 활용해 한 단계 높은 수준의 에이전트를 만들 수 있고, LLM옵스 프레임워크도 손쉽게 구현할 수 있도록 제공한다”라면서 “상용 파운데이션 모델을 연결해 데이터이쿠로 만든 AI 에이전트에 대한 토큰 사용량을 부서 예산에 맞춰 제어할 수 있고, 일정 수준 이상의 품질도 확보할 수 있도록 가드레일 기능을 활용할 수 있다”고 덧붙였다.

마지막으로 전 이사는 “데이터이쿠는 단일 플랫폼으로서 기업 내 모든 모든 에이전트를 한 화면에서 관리하고 피드백을 모니터링할 수 있는 기능을 제공하고 있다. 이같은 기능들로 기업 내에서 섀도우 AI를 방지하고 보다 통제된 AI 에이전트의 확산을 실현할 수 있도록 한다”며 “검색증강생성(RAG) 기반 챗봇을 통한 검색 능력 향상, 복합 다중 에이전트로 업무 효율을 극대화시킨 다양한 활용사례를 보유하고 있다”고 강조했다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network