고대역폭메모리(HBM)에 대한 관심이 뜨겁다. HBM은 더 낮은 에너지 소비로 더 빠른 데이터 액세스를 제공하도록 설계된 고성능 컴퓨터 메모리다. HBM은 인공지능(AI)에 있어 메모리 칩 성능을 높이고 전력 소비를 줄이는 데 중요한 역할을 한다. AI가 빠르게 발전하면서 그 수요도 증가하고 있다.
HBM 기술 핵심은 첨단 패키징 기술을 사용, 여러 층을 수직으로 통합하는 3차원(3D) 적층 방식에 있다. 특화된 D램을 수직으로 쌓고 고속 통로로 연결해 빠른 데이터 이동을 가능하게 한다. 이는 복잡한 AI 작업을 수행하는 데 필수다. 생성형 AI 및 데이터 프로세싱과 같은 새로운 성장 동력이 이제 막 도입 단계에 접어든 만큼 HBM의 시장 잠재력은 무궁무진하다.
HBM은 두 가지 핵심 부품을 통해 수직으로 쌓은 집적 회로(메모리 다이)의 수를 늘려 메모리 용량과 성능을 향상시키는데, 첫 번째 핵심 부품은 다이에 형성된 작은 납땜 돌기인 마이크로 범프다. 두 번째는 웨이퍼 전면에 미세한 구멍을 뚫어 구리로 채우는 기술인 실리콘 관통전극(TSV)이다. HBM의 이러한 고유한 설계로 프로세서와 메모리 간의 빠른 데이터 전송을 촉진, AI 작업을 최적화 함으로써 다양한 기기와 솔루션에 적용할 수 있게 된다.
가령 머신러닝에 있어서 AI 학습과 추론은 가장 기본적이고도 중요한 두 단계다. 학습 단계는 AI가 데이터를 학습하고 매개변수를 업데이트해 패턴이나 규칙을 찾고 각 입력을 특정 출력에 매핑하는 과정을 말한다. 추론 단계는 학습 모델을 사용, 사람의 개입 없이 새로운 데이터를 예측하는 과정을 의미한다. 머신러닝과 AI의 한 예로 시리나 알렉사와 같은 AI 비서가 있다. 이러한 AI 시스템은 머신러닝 알고리즘을 사용해 사용자의 명령과 쿼리를 이해하고 적절히 응답한다.
이미지 인식은 딥러닝의 하위 집합으로 알려진 머신러닝 기술을 사용한다. AI는 다양한 알고리즘을 통해 수많은 이미지와 방대한 데이터를 분석한다. 예를 들어, 구글 포토는 이미지를 자동으로 분류하고 태그를 지정하는 기능을 제공한다. 이 AI 시스템은 딥러닝 알고리즘으로 이미지 픽셀을 분석하고 사물, 인물, 장소 등을 식별한다.
자율주행은 이러한 머신러닝과 AI가 고도화된 기술이다. 이를 실현하려면 AI가 인간 운전자의 영향을 받지 않고 독립적으로 계획하고 행동해야 하며, 이를 위해서는 데이터 집약 처리가 필요하다. 이미지 인식 및 의사 결정 능력, 감각 기능, 데이터 모델링은 많은 양의 데이터를 동시에 효율적으로 처리할 수 있는 뛰어난 성능의 HBM을 필요로 한다.
AI 성능을 극대화하려면 여러 개의 대규모 데이터 세트의 동시 처리가 중요하다. 메모리 집적도를 개선하기 위해 주요한 접근 방식으로 적층 된 메모리 다이의 수를 늘리기 위한 기술 경쟁은 계속되고 있다. 2013년에 업계 표준으로 자리 잡은 1세대 HBM은 4단(레이어 스택)으로 시작됐다. 2020년 시작된 4세대 HBM3 개발은 2024년까지 12단 적층에 도달해 성능·메모리 용량·전력 효율성이 크게 향상될 것으로 예상된다.
HBM과 같은 첨단 패키징 및 이기종 통합 방식은 반도체 업계가 최적화된 성능, 전력, 폼 팩터 및 비용을 최적화하는 주요 경로가 되고 있다. 반도체 업계는 AI 시대를 위한 반도체 설계의 새로운 혁신을 준비하고 있다. 반도체 제조의 획기적인 발전이 차세대 HBM의 핵심이 될 것이라는 데는 의심의 여지가 없다.
치핑 리 램리서치 첨단 패키징고객 운영 사업부 수석이사 cheeping.lee@lamresearch.com