비즈니스 가치 창출하는 데이터 활용 방법, ‘펜타호’ 데이터옵스 플랫폼

코로나19 대유행으로 전세계 모든 산업에서 디지털 혁신이 더욱 가속화될 것이란 예상이 나오고 있다. 비대면(언택트)이 사실상 강제되는 상황에서 다양한 산업은 디지털 전환으로 새롭게 펼쳐지는 상황에 발빠르게 대응해 비즈니스를 안정적으로 영위해 나가야 한다.

디지털화의 핵심은 ‘데이터’다. 데이터는 기업의 핵심 자산이자 새로운 경쟁력과 비즈니스 성과를 창출할 기반이 된다. 데이터에서 가치를 뽑아내 비즈니스에 활용할 수 있기 때문이다. 데이터가 곧 수익이 되는 데이터 경제 시대가 열렸다.

기업은 수집·생성·보유하고 있는 방대한 데이터를 분류하고 인공지능이 결합된 지능정보기술로 데이터를 분석해 현재 비즈니스에서 나타나는 문제와 과제를 해결하고 미래 계획을 수립할 수 있어야 한다.

데이터 수집 분석 프로세스 통합과 자동화 필요

사실 꽤 오래 전부터 기업들은 데이터의 중요성을 알고 있었다. 그래서 열심히 데이터를 모아뒀다. 데이터를 활용하기 위한 목적이었지만 제한적으로만 사용할 수 있었다.

갈수록 데이터의 종류가 다양해지고 있고, 그 중에서도 수많은 비정형 데이터가 산발적으로 늘어나면서 데이터 관리는 더욱 힘들어지고 있다. 중요한 데이터를 흘려보내기 십상이다. 무엇이 중요한 데이터이고 아닌지 파악하기 쉽지 않다. 보유하고 있는 데이터를 정확하게 분류해 필요한 데이터를 빠르고 정확하게 찾아낼 수 있어야 하지만 그 역시 매우 어렵다.

이같은 상황에서 기업이 데이터를 효과적으로 분석하고 활용하기 위해 필요한 요건은 무엇일까. 그 해법을 효성인포메이션시스템(대표 정태수)에서 데이터 사업을 총괄하는 이진석 팀장으로부터 들어봤다.

이 팀장은 두 가지 키워드로 ‘통합’과 ‘데이터옵스(DataOps)’를 꼽았다.

먼저 ‘통합’은 데이터 활용에 필요한 전 단계, 즉 데이터 수집부터 저장, 전처리, 분석, 시각화까지 모든 단계를 통합적으로 제공할 필요가 있다는 의미다.

이 팀장은 “흩어져 있는 어마어마한 데이터를 처리해 필요한 사람이 가져가서 쓸 수 있게 하는데 여러 단계가 필요한데, 대부분 각 단계마다 각각의 솔루션을 사용해왔다”라면서 “여러 데이터베이스(DBMS)에서 SQL 쿼리를 보내 필요한 데이터를 불러 쓰는 방식을 많이 사용했고, 데이터를 추출(Extract)·변환(Transform)·적재(Load)하는 ETL과 저장 영역, 비즈니스인텔리전스(BI) 등 분석 영역, 시각화 솔루션도 사용해 왔지만 체계적으로 관리하기엔 어려웠다. 그리고 작업자마다 똑같은 작업을 반복하기도 했다”며 모든 단계를 통합 처리하는 데이터 플랫폼이 필요하다고 지적했다.

효성인포메이션시스템은 히타치 밴타라의 데이터 분석 플랫폼인 ‘펜타호(Pentaho)’를 기반으로 데이터 수집·처리·분석 등이 필요한 기업들에게 제공하고 있다.

‘펜타호’는 정형·비정형 데이터 수집부터 변환, 적재, 분석, 시각화와 머신러닝까지 전체 과정을 일련의 워크플로우로 처리해 통합 제공한다. 데이터 분석 단계에서는 분석모형 구축과 적용, 모형 업데이트 과정을 진행한다. 이 모든 단계는 자동화된 프로세스로 이뤄진다.

이 팀장은 “펜타호는 데이터 관련 모든 고민을 해결해준다”면서 “다양한 데이터 소스에 접근해 가져오고 로직을 처리하고 필요한 곳에 집어넣어 저장한 뒤 분석하고 시각화하는 단계를 모두 포괄한다. 분석 단계에서 머신러닝도 쉽게 구현할 수 있도록 돼 있다. 인공지능(AI) 기반으로 데이터 카탈로그 솔루션을 제공해 데이터의 종류와 성격을 분류해주는 기능도 두드러진다”고 부각했다.

오픈소스를 기반으로 한 ‘펜타호’는 아마존웹서비스(AWS) 등 클라우드 애플리케이션, 오라클 등 관계형 데이터베이스(DBMS), 하둡 빅데이터 등에 관계없이 다양한 데이터 소스에 쉽게 접근해 가져오고 즉각적으로 가공·분석할 수 있도록 지원한다. R, 파이썬 등 오픈소스 라이브러리를 자동 지원해 스크립트 작업과 처리에 시간과 자원을 들일 필요 없이 쉽게 머신러닝을 적용할 수 있다는 점이 특징이다. 스크립트가 아니라 그래픽사용자인터페이스(GUI) 기반으로 직관적이고 쉽게 예측 모형을 만들고 운영하고 수정할 수 있도록 제공한다는 점이 장점이다.

민첩한 데이터 활용에 초점 둔 데이터옵스 전략 구현 필요

‘데이터옵스’는 쉽게 말해 데이터를 활용하는데 있어 민첩성을 구현하는 방법이다. 개발과 운영을 통합해 비즈니스 민첩성을 확보하는 데브옵스(DevOps)의 취지와 동일하다. 데이터옵스는 데브옵스에 데이터 과학자와 엔지니어까지 결합된 개념으로 볼 수 있다.

이 팀장은 데이터옵스를 “데브옵스와 분석 기술을 결합하는 것”이라며 “여러 데이터 분석 기술을 활용해 기업의 수익과 발전방향을 만들어내야 한다. 이를 위해선 데브옵스에 데이터 과학자 입장을 집어넣어야 한다”고 설명했다. 그 이유로 “데이터 활용을 위한 인사이트를 도출해야 하는데 데이터 분석가나 현업 사용자들은 필요한 데이터를 어디서 가져다 분석해 쓸 수 있는지 잘 모른다. 심지어 데이터 과학자나 고급 분석가들조차 뭘 해야 하는지 모르는 상황이 발생한다”며 “데이터옵스는 데이터를 잘 가져다 쓸 수 있는 환경을 만들어 궁극적으로 데이터의 잠재력을 최대한 발휘하게 해준다”고 강조했다.

데이터옵스는 적합한 데이터를 적재적소로 가져와 빠르게 활용할 수 있게 한다. 이같은 프로세스를 자동화해 데이터를 실행가능한 인사이트로 전환해 비즈니스 가치를 창출하는데 필요한 시간을 단축시킬 수 있다. 이같이 데이터 분석·운영에서 실현되는 민첩성은 비즈니스 성과나 수익 창출에 있어 관건이 된다.

산업별 적용 템플릿 제공, 제조산업 특화된 데이터 활용 지원

전세계 2000여곳에서 사용하고 있는 ‘펜타호’는 국내 대형 게임사, 금융사, 유통사, 통신사, 제조사 등에서 활용되고 있다. 빅데이터 분석을 기반으로 수요 예측, 고객이탈 예측, 이상거래 탐지, 고객 기호분석, 가격 예측, 품질 예측분석 등 다양하다.

효성인포메이션시스템은 ‘펜타호’를 기반으로 다양한 산업의 기업들이 주요 업무에 유용하게 활용할 수 있도록 12가지 빅데이터 분석모형 템플릿을 제공한다. 이를 기반으로 데이터 수집, 전처리, 분석, 시각화 등에 대한 데모 서비스도 시작했다.

단순 솔루션 판매에서 그치는 게 아니라, 고객사에 대한 이해를 기반으로 빠른 솔루션 구축은 물론 분석 전반에 대한 서비스를 함께 제공해, 고객이 빠르고 활용성 높은 빅데이터 서비스를 적용할 수 있도록 지원하기 위해서다.

효성인포메이션시스템은 특히 제조산업 분야를 대상으로 머신러닝과 AI를 결합한 데이터 수집·분석을 통해 예지정비, 공정 및 운영 최적화, 품질 개선과 이상 탐지 등에 활용할 수 있도록 지원하는데 중점을 두고 있다.

제조산업은 다른 산업에 비해 데이터 수집 관리 현황이 여전히 부족한 것으로 꼽히고 있다. 예를 들어 데이터 분석을 통해 예지정비 시스템을 구현하고자 하지만 다양한 센서에서 수집된 많은 사물인터넷(IoT) 데이터들은 버리고 실제 문제가 발생한 데이터만 모아놓는 경우가 많다. 품질, 검사, 결과 데이터는 중요하게 다뤄졌지만 그 외의 공정, 설비 데이터의 중요성과 활용이 상대적으로 낮은 상황이라는 게 회사측의 설명이다. 하지만 머신러닝 등 응용기술의 발달에 따라 활용되지 않던 데이터의 가치가 높아지며 점차 현장에서 데이터 활용에 대한 수요가 늘어나고 있다. 특히 최근 모델링을 통한 자동화 모듈의 적용이 가능해짐에 따라 빠른 구축과 적용이 가능해졌다.

실제로 제조산업계의 요즘 화두 역시 디지털 혁신이다. 이미 공장 자동화를 넘어 지능화된 스마트팩토리로의 진화가 모색되고 있다. 생성되는 방대한 데이터를 수집해 저장하고 분석, 활용하는 것이 점점 더 중요해질 것임은 당연하다.

국내 한 대기업 제조사는 지난해 펜타호 플랫폼을 기반으로 빅데이터 분석과 AI를 적용해 장비 고장을 미리 예측할 수 있는 예지정비시스템 구축 프로젝트를 진행했다. 이를 바탕으로 설비 가동 상황, 상태 변화 등 이상징후를 시각화해 실시간 모니터링과 정확한 정비시기를 예측할 수 있는 체계를 만들었다. 올해에도 고도화 프로젝트를 진행할 예정이다. 이를 바탕으로 업무 효율을 높이고 비용도 절감할 것으로 기대하고 있다.

이 팀장은 “공장을 지을 때부터 디지털 자산과 데이터 수집·저장과 활용을 고려한다면 생산라인과 설비를 구축하는 최적의 방법까지 도출할 수 있다”라면서 “데이터를 효과적으로 분석하고 활용하기 위해서는 정보기술(IT)와 운영기술(OT), 즉 디지털 지식이 없더라도 생산현장에서 설비를 다루는 분들의 전문가들의 힘과 전문성을 결합해야 성공할 수 있을 것”이라고 제시했다.

효성인포메이션시스템은 펜타호가 포함된 ‘루마다(Lumada)’ 플랫폼을 기반으로 산업용 사물인터넷(IIoT) 제품군 사업도 강화하고 있다. 펜타호, 오브젝트 스토리지, 엣지 인텔리전스, 데이터 옵티마이저 등 데이터 통합·분석 관련 기술들을 다양하게 제공하고 있다. 조만간 데이터 레이크도 추가될 예정이다.