소이넷 “추론 최적화 엔진 활용한 ‘소이네이처’로’ AI 실행관리 자동화”

자체 개발한 인공지능(AI) 추론 최적화 엔진을 활용해 모델 배포와 모니터링, 테스트 등 AI 실행관리를 자동화해주는 솔루션이 출시됐다. 여러 작업을 통합 관리할 수 있어 AI의 성능을 최대로 이끌어내는 솔루션이다.

소이넷(공동대표 김용호·박정우)은 지난 17일 개최한 ‘인공지능 운영의 혁신과 가성비 극대화를 위한 MLOps, SoyNature!’ 웨비나를 통해 자사 주력 제품인 AI ML옵스(MLOps) ‘소이네이처(SoyNature)’를 공개했다.

소이넷은 2018년 창립해 지금까지 최신 AI 트렌드 연구와 기술개발에 힘써왔다. 김용호 공동대표는 “새로운 기능의 AI 모델이 쏟아져 나오는 상황에서 이를 지원하기 위한 실행 최적화와 경량화 기술을 자체 개발했다”고 밝혔다.

소이네이처는 AI 시스템 운영 비용을 줄이기 위한 가속과 메모리 사용량 감소는 물론 AI 모델 배포와 모니터링, 데이터 수집과 라벨링, 테스트 등의 작업을 통합해 관리할 수 있는 AI 실행관리 자동화 솔루션이다.

김용호 대표는 “특허 출원 건수를 살펴보면, 추론 관련 AI가 학습 관련 AI를 앞서기 시작했다”며 “정확도를 높이기 위한 데이터 수집과 모델 설계에서, 이제는 응용 애플리케이션을 서비스하기 위한 시장이 형성되고 있다”고 말했다.

유경석 소이넷 이사는 웨비나에서 AI 기술 트렌드를 언급하며 소이네이처의 강점을 소개했다.

현재 AI 기술 시장은 ▲트랜스포머(Transforer) ▲익스플레이너블(Explanable) AI ▲가변 입력 처리 등이 화두다. 이에 소이네이처는 다수의 배치(Batch)를 지원할 뿐만 아니라 AI가 낸 추론 결과를 설명가능(익스플레이너블)하도록 그래드(Grad)CAM을 지원한다.

또한 전통적인 언어 모델의 경우 최대 입력값보다 짧으면 어떤 특정값으로 채울 때가 있는데, 채운 값이 정확도를 저해하는 일이 생길 수 있다. 소이네이처는 입력값이 없는 곳에 패딩(Padding)을 넣지 않고도 고속 추론이 가능해 정확도를 희생하지 않는다는 설명이다.

유경석 이사는 “기존에도 여러 솔루션이 있지만, 쓰지 않는 기능까지 패키지에 넣어 구축이나 운용 비용이 큰 사례가 많았다”면서 “소이네이처는 막강한 가속화와 확장화 기술로 모델 리소스를 개선해야 하거나 엣지가 여러 개 있는 곳, AI 가중치가 큰 고객사가 쓰면 효과를 얻을 수 있다”고 밝혔다.

이어 “데이터가 누적되면 고객사 담당자가 학습 시스템에서 웨이트(Weight) 파일을 생성해 소이네이처를 통해 경량화하고 배포한 후 운영상황을 모니터링하는 실행 중심의 ML옵스 시스템”이라고 부연했다.

유경석 이사는 소이네이처실제 AI모델의 적용 시간을 줄일 수 있다고 설명했다. 또한 모델 변환과 에디팅, 경량화, 버전관리, 배포, 각종 모니터링 기능을 통해 시스템 운영이 편리해진다. 기존의 ML옵스 솔루션들이 데이터 라벨링과 학습 기능에 치중했다면, 소이네이처는 기본적인 라벨링과 학습자동화 기능 제공과 동시에 추론 최적화 엔진을 통해 서비스 비용을 절감하고, AI의 정확도를 지속적으로 높일 수 있다.

소이네이처는 크게 ▲서버형 ▲서버형 커스터마이즈 ▲엣지(Edge)형 등 3가지 형태로 시스템에 구축된다.  서버형은 응용애플리케이션인터페이스(API)를 활용한다. 고객사의 업무 시스템이 API를 통해 ML옵스 추론값을 요청하면 소이네이처는 가속화된 소이넷 엔진을 통해 추론 결과를 보내준다.

서버형 커스터마이즈는 시스템 구축 여건이 갖춰지지 않거나 API 이용에 제약이 있을 때 효과적이다. 업무 시스템을 별도로 두는 대신 커스터마이징을 거친 인풋이나 아웃풋 처리를 소이네이처에 심는 개념이다.

엣지는 엣지단에 설치한 리시버와 소이네이처의 네트워크를 연결하고, 해당 장비를 통해 웨이트 파일이나 라이선스 키 배포, 테스트 파일 추론까지 할 수 있다.

생산성 향상과 운영 편의성 또한 소이네이처의 매력이다.

유경석 이사는 “(과거에는) 고객이 작업한 AI코드를 텍스트 파일로만 작업할 수 밖에 없어 개발 시간이 오래 걸렸다”면서 “소이네이처는 해당 파일을 업로드해 그림으로 즉시 변환하고 필요한 수정과 설정을 할 수 있다”고 말했다.

텍스트가 아닌 이미지 형태로 AI 코드에 따른 변화를 쉽게 확인할 수 있어 빠른 작업이 가능하고, 모델 테스트를 통해 시스템 정상 구동을 확인할 수 있다는 뜻이다. 또한 실시간 또는 특정 시간을 예약해 모델, 웨이트, 라이센스 키 배포를 진행할 수 있고 시스템 재시작 시점에 적용하는 것도 가능하다. 6가지 지표를 통한 모니터링이 가능하고 고객이 지정한 규칙에 따라 모바일 알림도 전해준다.

한편, 소이넷은 다수의 공개 모델을 글로벌 마켓플레이스(soynet.it/market)에 탑재했다. 온라인으로 모델을 구매할 수 있고, 기술적 상담 또한 가능하다.

김용호 대표는 “AI로 수익을 내려면 결국 고객에게 서비스해야 하고 이 과정에서 많은 노력이 필요하다”며 “이 문제를 해결하는 것이 소이넷의 솔루션”이라고 강조했다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network