데이터이쿠 “데이터 리더 95% AI 의사결정 가시성 확보 못한다”

데이터이쿠는 최근 ‘글로벌 AI 실태 보고서: 데이터 리더 에디션(Global AI Confessions Report: Data Leaders Edition)’를 발표했다.

보고서에서 거의 모든 데이터 리더(95%)가 AI 의사결정 과정에 대해 완전한 가시성을 확보하지 못한다고 인정했다.

이 조사는 데이터이쿠의 의뢰로 미국 시장조사업체 해리스폴이 미국, 영국, 프랑스, 독일, 아랍에미리트(UAE), 일본, 한국, 싱가포르의 데이터 부문 고위 임원 800여명을 대상으로 실시했다.

응답자의 86%는 AI가 이미 일상 업무에 깊숙이 자리 잡고 있다고 답했지만, 거버넌스 격차, 설명 가능성 부족, 과도한 신뢰에 대한 우려가 여전히 존재하는 것으로 나타났다. 단 19%만 AI 에이전트 결과 승인 전에 작업 과정을 항상 공개하도록 요구하며, 52%는 설명 가능성 부족으로 에이전트 배포를 지연하거나 전면 중단한 경험이 있다고 밝혔다.

최고정보책임자(CIO)와 최고데이터책임자(CDO)는 막중한 책임을 지고 있다. 설문 응답자의 46%는 AI 성과에 대해 공로를 인정받을 가능성이 높다고 답한 반면, 절반 이상(56%)은 AI 실패로 인한 비즈니스 손실에 대한 비난을 받을 가능성도 높다고 답했다. 60%는 향후 2년 내에 AI가 가시적인 성과를 내지 못할 경우 자신의 일자리가 위태로워질 것이라며 강한 우려를 표명했다.

AI의 잠재력에 대한 낙관적인 시각에도 불구하고, 글로벌 기업들은 이미 다양한 문제를 겪고 있다.

설문 응답자의 59%는 지난 1년 동안 AI의 환각이나 오류로 인해 실제로 비즈니스 문제가 발생했다고 답했다. 82%는 AI가 상사보다 비즈니스 분석을 더 잘할 수 있다고 믿지만, 74%는 AI 오류율이 6%만 넘어도 사람 중심의 업무 방식으로 되돌아갈 것이라고 답했다. 89%는 AI에게 절대 맡기지 않을 업무 기능이 최소 하나 이상 있다고 답했다.

데이터이쿠가 올해 초 발표한 ‘글로벌 AI 실태 보고서: CEO 에디션(Global AI Confessions Report: CEO Edition)’은 CEO들이 얼마나 AI에 낙관적인지를 보여줬다. 데이터 리더들은 비교적 회의적인 입장을 취했다. 응답자의 단 39%만이 자사 경영진이 AI를 제대로 이해하고 있다고 응답했으며, 68%는 경영진이 AI의 정확도를 과대평가하고 있다고 답했다. 73%는 경영진이 실제 운영에 앞서 AI 신뢰성을 확보하는 과정이 매우 어렵다는 점을 간과하고 있다고 지적했다. 56%는 AI 전략 실패로 인해 내년까지 CEO가 해임될 것이라고 예상하고 있었다.

적합하지 않은 AI를 실제 운영 단계에 도입하려는 CEO의 낙관적 태도와, 이러한 도입에 신중한 데이터 리더들의 조심스러운 접근 방식 사이에 괴리가 존재하며, 이는 왜 많은 프로젝트가 여전히 개념 검증(PoC) 단계에 머물러 있는지를 설명해 준다.

설문 응답자의 80%는 ‘정확하지만 설명 불가능한 AI의 의사결정’이 ‘잘못됐지만 설명 가능한 의사결정’보다 더 위험하다고 응답했다. 69%는 AI의 비즈니스 제안이 사람이 제안한 것보다 더 진지하게 받아들여진다고 응답했다. 19%만이 AI 에이전트가 ‘결과 도출 과정을 항상 보여줄 것’을 요구한다고 답했다. 52%는 설명 가능성 부족으로 인해 에이전트 배포를 지연하거나 중단한 경험이 있다고 답했다. 58%는 AI가 생성한 코드의 취약점이 ‘언젠가 재앙으로 이어질 것’이라고 우려했다.

데이터이쿠의 플로리안 두에토 공동 창립자 겸 CEO는 “이번 보고서가 보여주는 놀라운 사실은 전 세계 기업들이 완전히 신뢰하지 못하는 AI에 의존하고 있다는 점”이라며 “다행히도 실패한 AI 프로젝트의 대부분은 설명 가능성, 추적 가능성, 거버넌스를 강화함으로써 해결 가능하며, 이것이 바로 AI가 단순한 유행에서 벗어나 실질적인 비즈니스 성과를 창출하게 하는 방법이 될 것”이라고 밝혔다.

글. 바이라인네트워크
<김우용 기자>yong2@byline.network