디노티시아-하이퍼엑셀, AI 반도체 활용한 최적 추론 시스템 개발

인공지능(AI) 및 반도체 통합 솔루션 전문기업 디노티시아가 AI 반도체 설계 팹리스 스타트업 하이퍼엑셀과 공동으로 검색증강생성( RAG, Retrieval-Augmented Generation) 최적화 AI 추론 시스템’ 개발에 나선다고 20일 밝혔다.

이번 협력은 디노티시아의 벡터 데이터 연산 가속기 칩(VDPU; Vector Data Processing Unit)과 하이퍼엑셀의 거대언어모델(LLM; Large Language Model) 가속기 칩인 ‘LLM 프로세싱 유닛(LPU; LLM Processing Unit)’ 을 결합해 하나의 통합 시스템으로 구현하는 방식으로 진행된다.

AI 서비스 분야에서 데이터 검색의 중요성이 점차 커지고, 데이터의 모달리티(modality, 생성형 인공지능이 다룰 수 있는 데이터 형식)도 다양해지고 있다. 데이터의 양이 늘어나면서, 더 빠른 검색이 점점 더 요구되고 있다.

기존 시스템은 소프트웨어에 의존해 데이터를 검색하고, LLM 기반의 GenAI 과정을 별도로 처리해 응답 속도가 느리고 전력 소모가 많았다.

이 문제를 해결하기 위해 디노티시아 측은 벡터 데이터베이스 연산 가속기 칩, VDPU를 활용해 AI가 대규모 멀티모달 데이터를 실시간으로 검색·활용할 수 있도록 제공하기로 했다. 하이퍼엑셀은 LPU 칩을 통해 AI 모델의 연산 성능을 극대화 한다는 목표를 제시했다. 양사는 이 두 칩을 결합, 검색과 추론을 동시에 처리하는 RAG 특화 AI 시스템을 완성할 계획이다.

정무경 디노티시아 대표는 “LLM 서비스가 확산되면서 데이터 검색에 대한 요구사항이 급격히 늘어나고 있다”며, “이번 협력을 통해 AI 모델의 추론뿐 아니라 데이터 검색 기능까지 최적화한 새로운 개념의 AI 시스템을 선보이겠다”고 말했다.

정 대표는 이어 “AI에 장기 메모리를 적용해 사용자 데이터를 심층적으로 이해하고, 더욱 정밀한 맞춤형 서비스를 제공할 것”이라며, “이는 할루시네이션 문제를 줄이고, 더욱 전문화되고 개인화된 AI 서비스로 도약하는 중요한 이정표가 될 것”이라고 덧붙였다.

김주영 하이퍼엑셀 대표는 “AI 연산의 병목 현상을 해결하고, 성능과 효율성을 동시에 확보하는 것이 AI 반도체의 핵심 과제”라며, “이번 협력을 통해 RAG와 LLM을 최적화한 AI 시스템을 구축함으로써, AI 시스템 운영 방식을 혁신하는 중요한 전환점이 될 것”이라고 강조했다.

글. 바이라인네트워크
<남혜현 기자> smilla@byline.network