‘AI 거품론’ 속 효과적인 생성형 AI 도입 방법은?

“생성형 인공지능(AI) 기업에 투자한 조직의 95%는 아무런 성과가 없었고, 단 5%만이 수백만달러의 가치를 창출하고 있다”

미국 매사추세츠공과대학(MIT)의 난다(NANDA) 연구 이니셔티브 보고서 ‘생성형 AI 격차: 2025년 기업 AI 현황’의 내용이다. 이 보고서는 “우리는 AI 버블 속에 있다”는 샘 올트먼 오픈AI CEO의 지난달 발언과 함께 언급되면서, 미국 증권가에 ‘AI 거품론’을 다시 점화시켰다.

단순하게 거액을 투자해 AI 솔루션을 구매하는 것으로는 성과를 볼 수 없다. 승패를 가르는 건, AI를 도입하는 접근 방식이다. 자체 구축보다는 신뢰할 수 있는 외부 파트너사와 협력하고, 상대적으로 덜 중요한 시스템부터 도입하고, 시간이 지남에 따라 학습하고 발전할 수 있는 시스템을 구축하는 것이 핵심이다.

보고서에 따르면 생성형 AI 기업에 대한 투자 규모는 300억~400억달러에 달한다. 약 55조7000억원 이상이다. 하지만 조직 95%는 수익률이 전혀 없었으며, 구매자와 구축자 간에 성과가 극명하게 갈리는 ‘생성형 AI 격차’가 생겼다. 여기서 구매자는 대기업, 중견기업, 중소기업이며, 구축자는 스타트업, 벤더, 컨설팅 회사 등이다. 즉, 생성형 AI 도구를 도입하는 기업들과 이 도구를 만드는 기업 간 격차가 발생했다.

대다수 기업들은 AI 도구를 도입하고도 가치를 전혀 창출하고 있지 못했다. 이러한 격차가 발생하는 이유는 모델 품질이나 규제 때문이 아닌 ‘접근 방식’에 따라 결정되고 있다는 분석이다.

분석에 따르면 오픈AI의 챗GPT나 마이크로소프트의 코파일럿 같은 범용 도구는 흔히 쓰고 있다. 80% 이상의 조직은 해당 도구를 시범적으로 운영했고, 40%는 실제로 사용하고 있다. 하지만 이런 도구는 주로 개인 생산성 향상에만 기여하고, 기업 성과(P&L)에는 영향을 미치지 않았다.

이와 다르게 엔터프라이즈급 맞춤형 AI 솔루션은 상황이 다르다. 60% 조직이 도입을 검토했지만, 시범 단계에 돌입한 기업은 20%, 그리고 실제 운영 단계에 들어간 기업은 단 5%에 불과하다.

실패한 대부분 이유는 기존 워크플로우와의 부적합, 학습 부족, 통합의 복잡성 등을 꼽았다. 챗봇은 쉽게 시도할 수 있고 유연하기 때문에 성공한다. 하지만 메모리 부족과 맞춤 설정 부족 등으로 인해 중요한 워크플로우에서는 실패한다는 것이다.

보고서는 기업용 AI 솔루션 95%의 실패율은 생성형 AI 격차를 가장 극명하게 보여준다고 분석했다. 잘못된 방향으로 나아가는 조직들은 워크플로우에 적응할 수 없는 정적인 도구에 계속 투자하고, 격차를 극복하는 조직들은 학습 가능한 시스템이 집중한다는 이야기다.

기업 사용자 인터뷰에서 인식 차이는 뚜렷하게 나타났다. 이들은 챗GPT와 코파일럿 같은 도구에는 긍정적인 경험을 했다고 보고했다. 이유는 유연하고, 친숙하고, 즉각적인 유용성을 제공해서다. 동일한 사용자들은 맞춤형 AI 도구에 대해서는 매우 회의적인 반응을 보였다. 도구가 불안정하고, 과하고, 실제 워크플로우에 맞지 않기 때문이다.

AI 도입 프로젝트는 의지와 예산만 있으면 시작하기엔 충분하지만, 이를 지속적인 가치를 지닌 워크플로우 통합 시스템으로 전환하는 경우는 드물다. 이러한 현상은 생성형 AI 격차에의 부정적인 측면에 있는 조직에서 나타나는 현상이다.

여기서 연간 매출 1억달러 이상으로 정의되는 대기업은 AI 시범 도입 수가 많고, AI 관련 이니셔티브에 더 많은 인력을 배정했다. 하지만 이러한 집중이 꼭 성공으로 이어지진 않았고, 시범 프로젝트에서 규모가 더 확장되는 전환율은 가장 낮게 나타났다.

오히려 중견기업들은 더욱 빠르게 도입했다. 시범 운영부터 전체 구현까지 평균 90일이 걸렸다. 대기업들이 9개월 이상 소요된 것과 대조적이다.

이에 직원들은 개인용 AI 도구로 격차를 극복하고 있다. 일명 ‘섀도우 AI’다. 섀도우 AI는 더 나은 투자수익률(ROI)를 보이는 경우가 많았고, 실질적인 격차를 해소하는 데 효과적이었다. 직원들이 IT 부서 승인 없이, 개인 챗GPT, 클로드 등을 사용해 업무 상당 부분을 자동화하는 활발한 ‘섀도우 AI 경제’가 존재한다는 분석이다.

섀도우 AI 현상이 나타나는 이유는 40% 기업만이 공식적으로 대규모언어모델(LLM) 구독을 구매하기 때문이다. 90% 이상 기업에서 근무하는 직원들은 업무에 개인용 AI 도구를 정기적으로 사용한다고 답했다. 또, 실제 대부분 직원은 어떤 형태로는 업무에 LLM을 활용했다.

회사가 도입한 공식 AI 도구는 시범 단계에 머무른 경우가 많아, 섀도우 AI 사용자는 개인 도구를 쓰게 됐다. 따라서 개인이 유연하고 반응성이 뛰어난 도구를 사용할 수 있을 때, 생성형 AI 격차를 성공적으로 극복할 수 있다.

이 외에 생성형 AI 예산의 절반은 영업과 마케팅 등 투자가 편향되는 현상도 나타났다.

보고서는 생성형 AI 도입 프로젝트 실패의 가장 큰 장벽이 인프라, 규제, 인재가 아닌 ‘학습 격차’로 봤다. 즉, 도입한 AI 시스템이 학습하지 못하거나, 기존 시스템에 제대로 통합되지 않거나, 워크플로우와 일치하지 않는 도구다. 사용자들은 간단한 작업에는 챗GPT를 선호하고, 중요한 작업에는 사용하지 않는다.

사용자는 적응하지 못하는 도구에는 거부감을 느낀다. 업무 맥락을 따라가지 못하거나 기존 내용을 기억하지 못하면 사용자 경험이 떨어진다.

설문조사 결과, 생성형 AI 시범 도입이 실패하는 주요 장벽으로 ‘새로운 도구 도입에 대한 의지 부족’이 가장 높게 나타났다. 즉, 새로운 도구 도입에 대한 저항이 드러났다. 다음으로 큰 장벽은 모델 품질에 대한 우려다.

사용자 선호도에서도 격차는 드러났다. 챗GPT는 유사한 모델과 대비해 더 우수하고, 더 빠르며, 더 익숙하기 때문에 엔터프라이즈용 도구보다 우위를 차지했다. 그리고 엔터프라이즈 AI 도구에 회의적인 태도를 보인 사용자들은 대부분 소비자용 LLM 인터페이스에 익숙한 이들이었다.

예시로 한 중견 로펌의 기업 변호사는 전문 계약 분석 도구에 5만달러(약 6900만원)를 투자했지만, 초안 작성에는 항상 챗GPT를 사용했다. 그 이유는 “우리가 구매한 AI 도구는 사용자 정의 옵션이 제한적인 융통성 없는 요약만 제공했지만, 챗GPT를 사용하면 원하는 결과를 얻을 때까지 반복할 수 있다”고 설명했다. 근본적인 품질 차이가 눈에 띄게 느껴졌고, 챗GPT가 더 나은 결과를 제공하기 때문에 더 비싼 맞춤형 엔터프라이즈 시스템을 선호하지 않았다.

물론 챗GPT는 한계가 있다. 바로 맥락을 잊어버리고, 학습하지 않고, 개선되지 않는다는 점이다. 아주 중요한 작업에는 90%의 사용자들이 사람을 선호했다. 생성형 AI는 기억하고 적응하는 능력이 부족하다.

앞서 초안 작성에 챗GPT를 활용한다는 변호사는 민감한 계약에는 AI 도구를 사용하지 않았다. 초안 작성에는 유용하지만, 고객의 선호도에 대한 지식이나 이전 수정 사항을 기억하지 못하기 때문이다. 같은 실수를 반복하고, 매 세션마다 광범위한 맥락 정보를 요구하는 등 중요한 작업에는 지식을 축적하고 시간이 지남에 따라 개선되는 시스템이 필요하다는 의견이다.

결국 AI는 단순 작업 분야에서는 많이 쓰이지만, 복잡하거나 장기적인 업무는 사람을 여전히 선호한다. “작업을 AI에게 맡길지 혹은 후배에게 맡길지”에 대한 조사 결과, 응답자 70%는 이메일 작성이나 기본 분석 등에 AI를 선호했다. 하지만, 몇 주에 걸친 작업 같은 복잡한 프로젝트에는 90%가 사람을 골랐다. 여기서 핵심은 지능이 아니라 기억력, 적응력, 학습 능력이다.

그렇다면 생성형 AI 도구를 성공적으로 도입한 조직들은 어떨까. 이들은 공통적인 접근 방식을 공유했다. 바로 피드백을 통해 학습하는 적응형 임베디드 시스템을 구축했다. 워크플로우에 깊이 통합하고 지속적인 학습을 통해 확장하는 사용 사례에 집중했다.

성공적인 도입 사례를 살펴본 결과, 기존 파트너사처럼 기업이 신뢰하는 공급 업체를 선정했다. 또, 대규모 엔터프라이즈 시스템 구축보다 설치 부담이 적고 가치 실현 시간이 빠른 도구를 도입해 더 나은 성과를 냈다. 중요도가 상대적으로 낮은 프로세스에서 적용한 뒤 실제 효과가 있으면, 핵심 워크플로우로 확장하는 것도 중요하다.

구매하는 기업 역시 단순히 소프트웨어를 사는 고객처럼 굴지 않고, 깐깐하게 요구했다. 심층적인 맞춤화를 요구하고, 도입을 촉진하고, 공급업체가 비즈니스 지표에 대한 책임을 지도록 했다. 단순 구매가 아닌 파트너십이 필요하다는 점이다.

외부 파트너십의 구축 성공률(약 67%)이 자체 구축 도구(약 33%)보다 높았다. 즉, 전략적 파트너십은 내부 구축보다 성공 가능성이 두 배 더 높다.

AI 예산의 50%를 영업 및 마케팅에 쏟아붓는 대신 운영 및 재무 같은 기능에 투자하는 경우도 많았다. 이 기능들은 ROI를 높일 수 있다.

결론적으로 생성형 AI 격차를 극복하는 조직들은 ▲자체 구축보다는 외부 구매(파트너십) ▲중앙 연구소가 아닌 직속 관리자에게 권한 부여 ▲시간이 지남에 따라 적응하면서 심층적으로 통합되는 도구 선택이라는 세 가지 다른 방식을 취했다.

구축에서 구매로의 전환은 AI 시스템을 제공하는 벤더들에게 기회다. 행동하는 조직과 벤더는 AI 경제에서 생성형 AI 격차를 올바르게 극복하고 지배적인 입지를 차지하게 될 것으로 전망하고 있다.

보고서는 “현재 잘못된 길에 갇힌 기업들이 나아갈 길은 명확하다”며 “정적인 도구에 대한 투자를 중단하고, 맞춤형 시스템을 제공하는 벤더와 파트너십을 맺고, 화려한 데모보다는 워크플로우 통합에 집중해야 한다”고 분석했다.

이어 “생성형 AI 격차는 영구적인 것이 아니지만, 이를 극복하려면 기술, 파트너십, 그리고 조직 설계에 대한 근본적으로 다른 선택이 필요하다”고 강조했다.

글. 바이라인네트워크
<최가람 기자> ggchoi@byline.network