세일즈포스 “AI 시대, 신뢰할 수 있는 맥락부터 구축해야”

생성형 AI 도입을 서두르던 기업들이 환각이라는 공통된 벽에 부딪히고 있다. AI가 그럴듯한 거짓 정보를 생성하는 이 현상은 실무 도입의 핵심 장애물로 꼽힌다. 세일즈포스가 발간한 리포트(State of Data & Analytics 2nd Edition)에 따르면, AI를 도입한 기업의 데이터·분석 리더 89%가 “부정확하거나 오해를 유발하는 AI 출력을 경험했다”고 답했다.

문제의 뿌리는 모델 성능이 아니다. 대형언어모델(LLM)은 공개 데이터를 학습해 일반적 대화와 추론에는 능숙하지만, 각 기업의 비즈니스 로직, 고객 히스토리, 실시간 재고 현황 같은 고유한 맥락은 학습되지 않는다. 학습하지 않은 정보에 대해 AI가 그럴듯한 포장하는 것이 바로 환각이다.

AI가 단순 보조 도구를 넘어 스스로 판단하고 행동하는 에이전트로 진화할수록 이 문제는 더 심각해진다. 챗봇의 오답은 사람이 걸러낼 수 있다. 하지만 에이전트가 잘못된 맥락을 기반으로 고객에게 발주를 넣거나 계약을 처리하면, 오류는 비즈니스에 직접적인 타격을 입힌다. 시장의 관심이 ‘어떤 모델이 더 똑똑한가’서 ‘AI에게 우리 비즈니스의 정확한 맥락을 어떻게 전달할 것인가’로 이동하는 이유다.

데이터 수집과 의미 통합은 다른 문제

기업들은 지금껏 방대한 데이터를 모으는 데 집중해 왔다. 그러나 데이터 수집과 데이터에 담긴 의미를 통합하는 것은 전혀 다른 작업이다.

같은 고객이라도 CRM에는 ‘홍길동’, ERP에는 ‘Hong kil-dong’, 콜센터 시스템에는 ‘길동 홍’으로 등록돼 있는 경우가 흔하다. AI 에이전트는 이 혼란을 스스로 해결하지 못한다. 어느 시스템의 데이터가 기준인지 알 수 없기 때문이다. 아무리 많은 데이터를 파이프라인으로 연결해도 AI에 전달되는 것은 일관성 없는 노이즈의 집합일 뿐이다.

이 문제를 해결하는 개념이 마스터 데이터 관리(MDM, Master Data Management)다. ‘우리 회사에서 이 데이터의 공식 버전은 이것’이라는 단일 기준, 즉 골든 레코드를 수립하는 작업이다. 고객, 제품, 공급사, 자산 등 기업의 핵심 객체에 걸쳐 기준이 세워질 때 비로소 AI는 추측이 아닌 근거를 갖고 행동할 수 있다. 업계에서는 이를 ‘신뢰할 수 있는 맥락(Trusted Context)’이라 부른다.

연결·신뢰·보안, 세 조건이 동시에 충족돼야

신뢰할 수 있는 맥락을 완성하려면 세 가지 조건이 필요하다. 첫째, 에이전트가 필요한 순간에 필요한 데이터에 끊김 없이 접근할 수 있어야 한다. 같은 보고서에 따르면 기업이 사용하는 앱은 평균 897개지만, 서로 연결된 것은 29%에 불과하다. 나머지 71%의 데이터는 에이전트가 닿지 못하는 사일로 안에 갇혀 있다.

둘째, 연결된 데이터를 신뢰할 수 있어야 한다. 같은 고객 정보가 시스템마다 다른 형식으로 존재하고 어느 것이 공식 기준인지 정해지지 않았다면, 연결은 오히려 혼란을 증폭시킨다. 데이터가 어느 시스템에서 생성됐고 어떤 변환을 거쳤는지 추적할 수 있는 데이터 리니지(Data Lineage) 역시 빠질 수 없다. 분기 재무보고서 수치에 오류가 발견됐을 때, 그 데이터가 ERP에서 직접 온 것인지 데이터 웨어하우스를 거쳐 변환된 값인지 즉각 추적하지 못하면 원인 파악에만 수일이 걸린다.

셋째, 데이터 활용 전 과정에서 권한과 정책이 통제돼야 한다. 특히 AI 에이전트는 여러 시스템을 동시에, 자율적으로, 빠르게 오간다. 기존 접근 권한 체계로는 이 움직임을 세밀하게 통제하기 어렵다. 보고서에 따르면 공식적인 데이터 거버넌스 프레임워크를 갖춘 기업은 전체의 43%에 불과하다. 금융·의료·공공처럼 규제가 엄격한 산업일수록 이 공백은 AI 에이전트 도입의 직접적인 걸림돌이 된다.

세일즈포스의 접근법: 네 개의 기둥

세일즈포스는 이 세 조건을 충족하기 위해 네 개의 제품을 하나의 아키텍처로 결합하고 있다. 2025년 11월 인수한 인포매티카가 MDM과 데이터 거버넌스를 맡고, 데이터 360이 데이터를 물리적으로 복사하지 않고 원위치에서 실시간 접근하는 ‘제로 카피’ 방식으로 AI 에이전트에 공급한다. 뮬소프트는 API 기반으로 전사 시스템을 연결하면서, 올해 1월 공개한 에이전트 패브릭을 통해 멀티 클라우드 환경에 분산된 AI 에이전트를 단일 체계로 통합 관리한다. 태블로는 에이전트의 처리 결과를 사람이 이해할 수 있는 형태로 시각화해 의사결정과 피드백 루프를 완성한다.

이 구조를 세일즈포스 내부에 먼저 적용한 결과, 세금 조정 업무 건수가 기존 대비 98% 줄었고 중복 계정 발생률은 20% 감소했다. 직원 커리어 지원 에이전트의 응답 정확도는 74%로 올라갔고, HR 티켓 발생량은 전년 대비 절반 수준으로 떨어졌다.

앞선 보고서에서 데이터·분석 리더의 84%는 “AI 성공을 위해 데이터 전략을 전면 개편해야 한다”는 데 동의했다. 그러나 현재 데이터 파운데이션이 에이전트 상호운용성을 뒷받침할 준비가 됐다고 답한 비율은 38%에 그쳤다. 필요성은 인식하지만 실제로 준비된 기업은 여전히 소수다.

AI 전환(AX) 시대에 기업 경쟁력의 척도는 모델의 성능이 아니라 데이터 파운데이션의 완성도로 옮겨가고 있다. CDO·CIO 입장에서 우선 점검해야 할 것은 AI 도입 그 자체가 아니다. 우리 회사 데이터를 신뢰할 수 있는가, 데이터와 애플리케이션이 연결돼 있는가, AI가 허용된 범위 안에서만 움직이도록 거버넌스가 마련돼 있는가. 이 세 질문에 먼저 답할 수 있어야 한다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network