CES에서 공개된 AI 반도체 기술

[CES 2024] 삼성전자와 SK하이닉스가 강조한 기술

AI 반도체 기술을 앞세워 CES에 전시부스를 연 국내 주요 반도체 기업, SK하이닉스와 삼성전자의 주요 발표 내용을 정리했다. 두 회사는 모두 HBM3E라는 차세대 AI 메모리를 강조했다.

먼저 이를 전면에 내세운 SK하이닉스.

올해 SK하이닉스의 테마는 놀이공원 테마로 ‘SK원더랜드(Wonderland)’다. SK하이닉스만 이 원더랜드에 들어간 것은 아니고, SK텔레콤과 SK이노베이션, SK에코플랜트, SK E&S, SKC 등 그룹사 7개 회사가 함께 참여했다. 가장 놀이공원다운 체험을 제공한 것은 ‘AI 포춘텔러(AI Fortune Teller)’인데, 얼굴 인식 AI 기술을 통해 관람객 얼굴이 합성된 타로카드를 만들어주는 생성형 AI다.

이 포춘텔러에는 HBM3E라는, 차세대 AI 메모리가 들어가 있다. SK하이닉스가 2023년 8월 개발에 성공한 메모리 반도체로, 초당 1.18테라바이트(TB) 이상의 동작 속도를 낸다. 방대한 데이터를 빠르게 처리해야 하는 AI, 클라우드, 고성능 컴퓨팅 분야에서 핵심적인 요소로 활용되고 있는데, SK하이닉스는 올해 상반기부터 본격적인 양산에 돌입한다는 계획을 갖고 있다.

참고로, HBM(High Bandwidth Memory)은 여러 개의 D램을 수직관통전극(TSV, Througn Silicon Via)으로 연결해 고대역폭을 구현한 메모리인데, 기존 D램보다 데이터 처리 속도를 크게 끌어올렸다. HBM은 1세대(HBM)-2세대(HBM2)-3세대(HBM2E)-4세대(HBM3)-5세대(HBM3E) 순으로 개발되는데, 이 중 HBM3E는 HBM3의 확장(Extended) 버전이다.

사실, 여기까지 들어도 HBM3E의 개념이 다소 어렵다. 조금 더 쉬운 설명을 위해 SK하이닉스 뉴스룸에 실린  HBM상품사업화팀 김왕수 팀장의 인터뷰 중 일부를 가져왔다. “HBM의 역할” 관련 질문에 대한 김 팀장의 답이다.

챗GPT와 같은 생성형 AI(인공지능)의 급격한 발전과 대중화에는 ‘메모리’의 역할이 컸다고 생각합니다. 특히 AI의 학습 및 추론에 관여하는 하드웨어인 ‘AI 가속기(Accelerator)’ 성능은 그 안에 탑재되는 메모리의 ‘대역폭(Bandwidth)’과 ‘용량(Density)’에 따라 큰 차이를 보입니다. 대역폭은 데이터를 전송하는 통로이고, 용량은 데이터를 저장할 수 있는 양을 의미하는데요. SK하이닉스는 방대한 양의 데이터를 빠르게 처리해야 하는 AI 산업 트렌드에 맞춰 초고대역폭/초고용량 메모리인 HBM3E(Extended)의 개발을 완료하고 고객에 샘플을 제공하고 있습니다.

HBM3E는 현존하는 D램 중에서 최고 수준의 처리 속도인 초당 1.18TB(테라바이트) 이상을 자랑합니다. 이는 5GB(기가바이트) 용량의 풀HD급 영화 230편 이상에 해당하는 데이터를 1초 만에 처리하는 수준입니다. HBM은 데이터양이 폭발적으로 증가하는 AI 시대에 관련 서비스를 더 나은 조건으로 제공하기 위한 필수 요소이며, 나아가 자율주행, 네트워킹 등으로 그 활용도가 더 확대될 수 있습니다. 앞으로 HBM은 저장 용량이 더 커지고 탑재될 전체 시스템의 성능 향상에도 직접 기여하는 형태로 진화할 전망인데요. 이와 같이 HBM의 발전은 AI의 발전 방향과 밀접하게 연관돼 있다고 볼 수 있습니다.

SK하이닉스는 HBM3E 외에 CPU, 메모리, 스토리지 등 서로 다른 인터페이스를 통합해 처리 효율성과 용량 확장성을 높인 차세대 인터페이스 ‘CXL(Compute eXpress Link)’ 기반의 메모리 제품도 공개했다. PCIe(디지털 기기의 메인보드에서 사용되는 직렬 구조의 고속 입출력 인터페이스)기반의 표준화된 인터페이스인 CXL는 유연한 메모리 확장성과 여러 호스트(CPU, GPU 등) 간 메모리 공유가 장점인 기술로 AI와 데이터 분석에 활용되는 고성능 컴퓨팅 시스템의 효율성을 극대화할 수 있다고 SK하이닉스 측은 설명했다. 방대한 데이터를 더 효율적으로 처리하려는 이들에게 도움이 될 것이라는 이야긴데, SK하이닉스는 DDR5 기반 96GB(기가바이트), 128GB CXL 메모리 솔루션 제품을 올 하반기부터 상용화한다는 계획이다.

AiMX(Accelerator-in-Memory based Accelerator)도 강조한 기술이다. SK하이닉스 최초의 PIM 제품인 GDDR6-AiM 칩을 사용해 대규모 언어 모델(Large Language Model)에 특화된 AI 가속기용 카드 시제품이다. 데이터 저장 외에 연산까지 가능한 차세대 지능형 메모리인 GDDR6-AiM(Accelerator-in-Memory) 칩을 탑재했다. AiMX는 기존 GPU 중심의 생성형 AI 시스템과 비교해 데이터 처리 시간을 대폭 단축하면서도 더 낮은 전력을 소모한다는 장점이 있어, 많은 데이터를 처리해야 하는 AI 시스템 발전에 중요한 역할을 할 것으로 SK하이닉스 측은 기대하고 있다.

삼성전자는 반도체 기술이 만들어가는 ‘작은 기적’을 강조했다. 삼성전자는 CES 전시 현장에서는 AI 반도체 기술을 기반으로 한 여러 TV, 가전, 모바일 제품을 선보였smsep,  CES를 통해 올해 반도체 사업이 어떤 기술과 계획을 가지고 움직일지를 일부 공개했다. 삼성전자 역시 그 중심에 HBM3을 뒀다.

삼성전자 DS 부문은 CES에 앞서 메모리사업부 DRAM개발실장인 황상준 부사장의 기고문을 뉴스룸에 공개했는데, 그 내용이 “AI 시대의 필수요소, 고성능 HBM”이다. 2016년 고성능 컴퓨팅(HPC) 향 HBM 사업을 시작했고, AI 향 메모리 시장을 본격 개척해왔는데 현재는 “HBM2E, HBM3를 양산하고 있으며, 9.8Gbps속도의 HBM3E 제품을 개발해 고객사에 샘플 공급을 시작할 예정”이라고 알렸다. 9.8Gbps는 1초당 9.8기가비트 단위 데이터가 전송되는 속도를 말한다.

황 부사장은 아울러 “HBM4는 2025년을 목표로 개발 중으로 해당 제품에 적용하기 위해 고온 열특성에 최적화된 NCF(Non-conductive Film) 조립 기술과 HCB(Hybrid Copper Bonding) 기술을 준비 중”이라고도 말했다. NCF는 비전도성접착필름을 말하며, 적층된 칩 사이에 발생하는 절연과 기계적 충격으로부터 솔더 조인트(Solder joint)를 보호하기 위해 사용하는 폴리머 레이어(Polymer layer)를 뜻한다. HCB는 하이브리드본딩으로, 기존에 솔더(Solder)를 사용한 방식이 아닌 구리(전도체)와 산화막(절연체)을 이용한 접합 방식이다.

패키지 기술강화와 사업부 간 시너지 극대화를 위한 조직 개편 소식도 전했다. 황 부사장은 “AVP(Advanced Package)사업팀을 출범했다”면서 “HBM과 함께 2.5차원, 3차원 첨단 패키지 솔루션을 포함한 첨단 맞춤형 턴키 패키징 서비스도 제공하여 AI·HPC 시대에 최고의 솔루션을 선보일 계획”이라고 강조했다.

글. 바이라인네트워크
<남혜현 기자> smilla@byline.network