컴퓨터 성능을 결정짓는 것은 단순히 CPU나 GPU의 클럭 속도만이 아니다. 현대의 시스템에서 진짜 병목은 데이터를 얼마나 빠르게 옮길 수 있느냐, 즉 메모리 대역폭에 달려 있다.
이 병목을 극복하기 위해 등장한 기술이 바로 HBM(High Bandwidth Memory)이며 우리말로 고대역폭 메모리라고 부를 수 있다.

HBM은 기존의 메모리와는 전혀 다른 구조로, 데이터를 훨씬 빠르고 효율적으로 주고받을 수 있게 설계되어 인공지능(AI), 고성능 그래픽, 슈퍼컴퓨터, 데이터센터 등 연산 집약적인 분야에서 HBM은 이제 선택이 아닌 필수 구성 요소가 되었다.

HBM이란 무엇인가

HBM은 이름 그대로 대역폭을 극단적으로 넓힌 DRAM이다.

대역폭이란 데이터를 오가는 통로의 폭을 의미하는데, HBM은 이 통로를 기존 메모리보다 수십 배 넓게 만들어 아주 빠른 속도로 데이터를 이동시킬 수 있다.

이를 가능하게 한 것은 3차원 적층 구조인데 일반 DRAM이 평면 위에 여러 칩을 나란히 배치하는 반면, HBM은 여러 개의 메모리 칩을 위로 쌓아 올리며, 그 층 사이를 TSV(Through-Silicon Via) 라는 미세한 구멍을 통해 전기적으로 연결함으로써, 수직 방향으로 데이터가 이동할 수 있도록 설계되어 있다.

이 덕분에 HBM은 기존의 메모리보다 훨씬 짧은 거리에서 데이터를 주고받고, 한 번에 처리할 수 있는 양도 압도적으로 많다.

왜 고대역폭이 중요한가

AI나 그래픽 연산처럼 방대한 데이터를 다루는 작업에서는, 연산 속도보다 데이터 전송 속도가 병목이 되는 경우가 많다.  예를 들어 대규모 언어 모델(LLM)이나 이미지 생성 모델을 학습시키려면 초당 수 테라바이트(TB)에 이르는 데이터를 주고받아야 한다.

이때 일반 DDR 메모리는 이 속도를 감당하지 못한다. HBM은 그 한계를 극복하기 위해 만들어졌으며 GPU 옆에 바짝 붙은 위치에서, 매우 넓은 통로를 통해 데이터를 교환하므로 AI 학습이나 HPC(High Performance Computing)에서는 HBM의 존재가 곧 시스템 성능을 좌우한다고 해도 과언이 아니다.

기존 DRAM과의 구조적 차이

일반 컴퓨터에서 사용하는 DDR 메모리는 메인보드의 슬롯에 꽂히는 형태다.  CPU와 메모리 사이의 물리적 거리가 수 센티미터 이상으로 길고, 그 사이를 전자 신호가 지나가는 동안 시간 지연이 발생한다.

HBM은 이와 정반대의 방식으로 작동한다. CPU나 GPU 바로 옆, 실리콘 인터포저(Silicon Interposer) 라는 얇은 기판 위에 직접 올려지며 이 인터포저는 일종의 고속 연결 다리 역할을 하며, 데이터 전송 거리를 수백 마이크로미터 수준으로 줄여준다. 즉, 메모리와 프로세서가 사실상 하나의 패키지 안에서 함께 작동하는 것이다.

3D 적층 구조의 비밀

HBM의 핵심 기술은 바로 3차원 적층이다. 여러 개의 DRAM 다이를 수직으로 쌓고, TSV를 통해 층마다 신호를 전달하며 이 구조는 마치 초고층 빌딩 안에 수십 개의 엘리베이터가 동시에 움직이는 것과 같다.

기존의 평면 메모리에서는 수평으로 신호가 이동해야 했지만, HBM에서는 데이터가 수직 방향으로 빠르게 흐른다. 덕분에 같은 면적 안에서 훨씬 많은 데이터를 동시에 전송할 수 있고, 공간 효율도 비약적으로 향상된다.

실리콘 인터포저의 역할

HBM 스택은 단독으로 존재하지 않으며 그 아래에는 실리콘으로 만든 얇은 인터포저가 깔려 있으며, 이것이 GPU나 CPU 칩과 수천 개의 미세한 배선으로 연결되어 있다.

인터포저는 말 그대로 데이터의 중간 다리인데 HBM과 GPU가 이 다리를 통해 직접 신호를 주고받기 때문에, 데이터 이동 거리와 전력 손실이 크게 줄어든다. 이 방식 덕분에 HBM은 기존 메모리보다 훨씬 높은 효율을 달성할 수 있다.

얼마나 빠를까

일반 DDR4 메모리는 초당 약 25GB 정도의 데이터를 처리하고, DDR5로 올라가도 약 50GB 정도다. 하지만 HBM3는 한 스택만으로도 초당 1TB, 즉 1000GB 이상의 데이터를 전송할 수 있다.

최신 AI GPU인 NVIDIA H100은 여러 개의 HBM3 스택을 사용해 총 3TB/s에 가까운 대역폭을 제공하는데 이는 일반 데스크톱 메모리 시스템의 약 30배 이상 빠른 속도다.

이 정도 차이면, AI 모델 학습 속도나 그래픽 렌더링 성능에서 HBM의 존재가 얼마나 절대적인지 쉽게 이해할 수 있다.

발열과 전력 효율

속도가 빠르면 발열이 심할 것 같지만, HBM은 의외로 효율적이다. 데이터 전송 거리가 매우 짧고, 구동 전압도 낮기 때문에 단위당 전력 소모량은 DDR보다 훨씬 적다.

다만, 구조적으로 여러 층이 겹쳐 있다 보니 생성된 열이 위쪽으로 잘 빠져나가지 못한다는 단점이 있다. 그래서 고성능 GPU나 AI 가속기에서는 HBM을 냉각하기 위해 두꺼운 히트스프레더를 덮거나 액체 냉각(Liquid Cooling)을 사용하는 경우도 많다.

요약하자면, HBM은 “성능 대비 전력 효율은 우수하지만, 발열 제어가 까다로운” 메모리라고 볼 수 있다.

용량과 확장성

HBM의 용량은 DDR처럼 슬롯을 추가해 늘릴 수 있는 구조가 아니지만 대신 GPU나 CPU 패키지 옆에 여러 개의 HBM 스택을 배치하는 방식으로 확장한다. 예를 들어 NVIDIA의 H100은 여섯 개의 HBM3 스택을 사용해 약 80GB의 용량을 제공한다.

AI 연산에서는 일반적으로 용량보다 대역폭이 더 중요하기 때문에, HBM은 “더 많이”가 아니라 “더 빠르게” 데이터를 처리하도록 설계되어 있다.

HBM의 발전 역사

HBM의 첫 세대는 2015년 AMD의 그래픽카드 ‘Fury’ 시리즈에 탑재되며 세상에 등장했고 이후 HBM2, HBM2E를 거치며 대역폭과 용량이 점점 커졌고, 2022년에 등장한 HBM3는 초당 1테라바이트 수준의 속도를 달성했다.

2024년 이후에는 HBM3E와 HBM4가 상용화 단계에 들어서면서 AI용 GPU에 본격적으로 탑재되고 있다.

이제 HBM은 단순한 ‘그래픽용 메모리’가 아니라, AI 시대를 지탱하는 핵심 인프라로 자리매김했다.

실제 사용 사례

현재 HBM은 AI와 HPC 분야의 대표적인 칩에 모두 적용되고 있는데 NVIDIA의 H100, H200 같은 GPU는 HBM3와 HBM3E를 사용하고, AMD의 MI300 시리즈 또한 HBM3 기반으로 제작되었다. 또한 인텔의 Gaudi3나 삼성의 SAFARI AI 칩 역시 HBM2E 혹은 HBM3를 탑재하고 있다.

이 시장의 주력 공급사는 SK hynix, 삼성전자, 마이크론으로, 그중 SK hynix는 HBM3 분야 세계 시장 점유율 50% 이상을 차지하며 선두를 달리고 있다.

GDDR과의 차이

그래픽카드에서 흔히 쓰이는 GDDR 메모리와 HBM은 겉보기엔 비슷해 보이지만 완전히 다른 철학을 갖고 있다. GDDR은 높은 클럭 속도를 통해 빠른 전송을 구현하는 반면, HBM은 클럭을 낮추는 대신 데이터 통로를 훨씬 넓히는 방식을 택했다. 이 덕분에 HBM은 전력 효율이 좋고, 지연 시간이 짧으며, 대용량 데이터 병렬 처리에 훨씬 적합하다. 결국 GDDR은 “빠른 단거리 러너”라면, HBM은 “넓은 도로에서 트럭 여러 대가 동시에 달리는” 형태라고 볼 수 있다.

가격과 현실적인 한계

HBM의 가장 큰 단점은 가격이다. HBM은 TSV 적층, 실리콘 인터포저, 정밀 패키징 등 첨단 공정이 복잡하게 들어가기 때문에 제조 단가가 높다.

현재 시점(2025년 기준)으로 보면, 같은 용량 기준으로 HBM은 일반 DDR 메모리보다 10배에서 많게는 15배 이상 비싸다. 예를 들어 DDR5 16GB 모듈이 약 50달러 내외라면, 동등한 용량의 HBM3 칩은 600~800달러 수준에 이를 수 있다. 또한 적층 구조로 인해 생산 수율이 낮고, 하나의 층이라도 불량이 생기면 전체 스택을 폐기해야 하기 때문에 생산 효율도 좋지 않다.

이 때문에 HBM은 아직까지 일반 소비자용 PC나 노트북에는 들어가지 않고, AI 서버나 슈퍼컴퓨터, 고성능 GPU와 같은 프리미엄 장비에만 탑재되고 있다.

HBM의 미래

AI 모델은 점점 커지고 있고, 그에 따라 메모리 대역폭의 요구치도 폭발적으로 증가하고 있다. HBM은 이런 요구를 충족하기 위한 거의 유일한 해법이다. 앞으로 등장할 HBM4는 현재보다 두 배 가까운 속도를 제공할 것으로 예상되며, 장기적으로는 연산 기능을 메모리 내부에 통합하는 PIM(Processing In Memory) 기술로 진화할 가능성도 있다.

이 단계에 이르면 메모리는 단순한 저장 장치가 아니라, 스스로 데이터를 처리하는 지능형 구성요소로 발전하게 된다.

과거에는 CPU의 클럭이 컴퓨터의 성능을 결정했지만  이제는 메모리가 시스템의 속도를 좌우한다. HBM은 이 한계를 뛰어넘기 위해 등장한 혁신적인 기술이며, AI 시대의 데이터 엔진이라 불릴 만하다.

물론 아직은 비싸고 복잡하며 냉각이 어려운 단점이 있지만, HBM이 없었다면 오늘날의 초대형 AI 모델이나 자율주행 컴퓨터는 존재하기 힘들었을 것이다. CPU와 GPU가 뇌라면, HBM은 그들에게 데이터를 공급하는 초고속 혈관이다. 결국 컴퓨팅의 미래는, 얼마나 빠르고 효율적으로 데이터를 흐르게 하느냐에 달려 있고, 그 중심에 HBM이 서 있다고 할 수 있다.

참고자료

https://www.electronicdesign.com/technologies/embedded/article/21259264/rambus-whats-the-difference-between-hbm3-and-hbm2e-a-new-frontrunner
https://en.wikipedia.org/wiki/High_Bandwidth_Memory
https://www.synopsys.com/glossary/what-is-high-bandwitdth-memory-3.html
https://news.skhynix.com/sk-hynix-develops-worlds-fastest-high-bandwidth-memory-hbm2e/
https://www.micron.com/products/memory/hbm
https://www.electronicsforu.com/special/truly-innovative-tech/hbm3-dram-that-matches-high-data-processing-rate

이미지 저작권

Fritzchens Fritz – Wikipedia
https://en.wikipedia.org/wiki/High_Bandwidth_Memory#/media/File:AMD@28nm@GCN_3th_gen@Fiji@Radeon_R9_Nano@SPMRC_REA0356A-1539_215-0862120_Stack-DSC10301-DSC10363_-_ZS-retouched_(29514443756).jpg