“IBM의 경험을 전수 받은 기업용 AI 에이전트”
한국IBM은 21일 개최한 기자간담회에서 기업 비즈니스 환경을 위한 에이전틱 AI 솔루션과 IBM의 AI 전략을 소개했다.
IBM은 신뢰할 수 있는 AI 플랫폼인 왓슨x를 중심으로 ▲오픈소스 및 파트너 AI 기술을 유연하게 활용할 수 있는 개방성 ▲영역별로 특화된 고성능 소형 LLM으로 90% 높은 비용효율성 ▲온프레미스와 클라우드를 포괄하는 유연성을 제공하는 하이브리드 기술 ▲산업 및 영역별 전문성을 토대로 한 IBM 컨설팅 서비스 등을 기업향 AI 전략의 차별화 요소로 강조했다.
이지은 한국IBM 최고기술책임자(CTO, 전무)는 “IBM은 오픈소스를 최대한 채용할 수 있게 하고, 다양한 AI 파트너의 기술까지 유연하게 활용할 수 있게 한다”며 “AI를 실험 단계에서 실제 현업으로 확장해서 배포하려고 하면 항상 비용 문제에 부딪친다”고 말했다.
이 전무는 “성능도 좋으면서 작은 LLM을 잘 써서 기업의 특정 업무에 맞춤으로 활용하는 게 최적”이라며 “IBM은 퍼블릭, 프라이빗 클라우드와 온프레미스 환경 모두에서 기업용 AI를 잘 구동할 수 있게 지원한다”고 강조했다.
그는 “기업은 한번 써보는 AI가 아니라 업무를 수행하는 데 AI를 활용해야 하기 때문에 그 전체에 대한 관리, 거버너스가 중요하다”며 “AI가 정확한 결과를 내는지, 잘못된 정보로 잘못된 결과를 내는지 등 다양한 관점에서 거버넌스가 필요하고, 내 데이터가 어디로 가서 어떻게 쓰일 지 리스크를 관리할 수 있는 보안도 필요하다”고 덧붙였다.
IBM은 현재 내부적으로 LLM 기반의 AI 업무 도구를 적용해 실제로 현업에서 활용중이다.
전 세계 175여 개국에서 약 28만 명의 직원이 근무하고 있는 IBM은 인사, 재무, IT 서비스, 마케팅 등 70개 이상의 업무 영역에 AI를 도입하고 있다. 일례로, 인사(HR) 부문에서는 ‘애스크HR(AskHR)’이라는 AI 기반 디지털 에이전트를 통해 휴가 신청, 급여 명세, 각종 증명서 발급 등 단순 업무의 94%를 자동화했다. 이를 통해 직원들은 좀더 복잡한 이슈를 해결하는데 집중할 수 있게 됐으며, 관리자는 직원 승진 업무를 평균 75% 더 빠르게 처리할 수 있다.
IT 서비스 부문에서는 ‘애스크IT(AskIT)’라는 AI 에이전트를 통해 주요 IT 이슈의 80%를 해결하며, IT 지원팀의 통화 및 채팅량을 70% 줄이는 성과를 냈다. 고객 지원 부문에서는 AI 디지털 상담원을 도입해 문의의 70%를 자동 처리하고 있으며, 복잡한 문제는 기존보다 26% 더 빠르게 해결할 수 있게 됐다.
이 전무는 “IBM은 AI 기반의 생산성 향상을 최우선 과제로 삼고, IBM 왓슨x 플랫폼을 활용한 AI와 자동화를 전사 프로세스 전반에 적용하고 있다”며 “그 결과, 2023년 1월 이후 약 2년간 35억 달러의 생산성 향상을 이뤘다”고 말했다.
그는 ““IBM은 기업용 AI를 먼저 도입한 뒤 그 노하우와 사례를 기반으로 고객에게 전수할 수 있다”며 “그렇게 현재까지 도출된 유즈케이스가 70개 이상에 이른다”고 말했다.
IBM은 ‘에이전틱 AI’를 다양한 AI 어시스턴트 및 비즈니스 애플리케이션 등을 연계한 환경으로 본다. 사용자나 다른 시스템을 위해 과제를 자율적으로 수행하는 AI 에이전트들이 결합되며 기존의 AI에 비해 사람의 개입을 최소화하고 다양한 시스템과 연계해 자율적으로 복합적인 업무 수행이 가능하다는 설명이다.
이 전무는 IBM의 경험을 녹인 플랫폼을 기반으로 데이터, 모델, 거버넌스, AI 어시스턴트, AI 에이전트 등을 함께 제공할 수 있다고 했다.
IBM의 기업용 AI 플랫폼은 ‘왓슨x’다. 데이터에 ‘왓슨x데이터’를, 모델에 ‘그래니트’와 파트너의 LLM 등을 제공한다. 거버넌스로 ‘왓슨x거버넌스’를 제공하고 있다. 그리고 AI 에이전트 개발과 운영을 위한 제품으로 ‘왓슨x오케스트레이트’를 제공한다.
한국IBM 클라이언트 엔지니어링 총괄 김지관 상무는 에이전틱 AI 개발을 위한 핵심 솔루션으로 IBM의 ‘왓슨x 오케스트레이트’를 소개했다. 이 솔루션은 자연어 기반의 직관적인 대화형 인터페이스를 통해 직원, 고객 등 최종 사용자의 요청을 수집하고, 이를 다양한 비즈니스 애플리케이션과 연결해 자동화된 방식으로 처리한다. LLM 기반의 시스템을 통해 사용자의 요청을 지능적으로 분석하고 가장 적절한 경로로 연결한다.
단순한 질의응답을 넘어 특정 업무 수행, 지식 베이스 검색, 필요 시 사람의 개입까지 유연하게 확장되며, 이를 통해 기존에 수 분에서 수 시간이 소요되던 업무를 수 초 또는 수 분 이내에 처리할 수 있도록 해준다.
김지관 상무는 “IBM의 모든 직원은 동일한 포털에서 왓슨x 기반의 ‘애스크IBM’이란 통합 UI를 활용해 질문하고 답을 받는다”며 “단위 업무별로 어시스턴트가 있고, 그 뒤에 다양한 IBM 내외부 시스템과 연동되고 있다”고 설명했다.
그는 “직원이 하나의 통합 UI/UX를 통해 뒷단의 AI 어시턴트와 AI 에이전트를 활용하고, 하나의 경험으로 여러 업무를 수행할 수 있다”고 말했다.
왓슨x 오케스트레이트는 생성형 AI를 포함한 다양한 인공지능 기술이 기본 내장돼 있는 사전 구축된 AI 에이전트를 제공, 개발자가 아닌 비전문가도 별도의 코딩 없이 간편하게 에이전틱 AI를 구축할 수 있도록 지원한다. ‘스킬 카탈로그’와 ‘스튜디오’ 기능을 통해 필요한 스킬을 직접 생성하고 다단계 흐름으로 구성한 후, 수천 개의 자동화 작업 중에서 선택해 적용함으로써 맞춤형 에이전틱 AI를 매우 쉽게 구축할 수 있다.
김지관 상무는 IBM 에이전틱 AI 전략의 차별성이 기업들의 환경과 요구에 부합하는 강력한 경쟁력을 갖추고 있다고 강조했다. IBM은 ▲사전 구축된 AI 에이전트 컴포넌트와 스킬 기반의 빠른 구현 역량 ▲다양한 클라우드 또는 벤더에서 제공하는 AI와 앱에 대한 통합과 조정 ▲기업용 거버넌스 역량으로 신뢰할 수 있는 AI 구현 및 운영 ▲클라우드, 온프레미스 등 원하는 환경을 자유롭게 선택, 구축, 이동할 수 있는 하이브리드 기술로 에이전틱 AI를 차별화한다.
그는 “왓슨x 오케스트레이트는 기업을 위한 에이전틱 메시를 구현한다”며 “중심에서 그물망처럼 다양하게 문서를 이해하고 자동화하며, UI를 통합하고 에이전트와 어시스턴트를 엮어 단위별로 수행해야 하는 업무의 액션을 위한 스킬까지 사전정의돼 쉽게 활용할 수 있다”고 강조했다.
그는 “오케스트레이트 밑단엔 거버넌스와 데이터가 있으며, 프로세스 마이닝과 워크플로우 디자인을 위한 프로세스 디자인이 존재한다”며 “여기에 IBM 컨설팅 조직이. 모든 툴과 플랫폼을 갖고 기업 전문 영역 역량 가진 인력이 고객에게 가치 제공하고자 준비돼 있다”고 밝혔다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
