HBM이란?

도로의 차선에 비유해 배우는 고대역폭 메모리와 AI의 관계.

기초 · 업데이트 2026-10-04

추천 읽기 순서 · 용어사전

이 글에서 배울 것

HBM이 NAND와 어떻게 다른지, 대역폭이 왜 중요한지, 칩을 쌓는 것만으로 설명이 끝나지 않는 이유를 알아봅시다.

계산을 잘해도 자료가 늦으면 기다린다

많은 학생이 계산 문제를 함께 푸는데 문제지가 한 장씩만 전달된다면 어떨까요? 계산하는 능력이 충분해도 자료를 기다리는 사람이 생깁니다. AI 연산에서도 계산에 사용할 데이터를 제때 공급하는 일이 중요합니다.

HBM은 High Bandwidth Memory, 즉 고대역폭 메모리입니다. 여러 DRAM 칩을 쌓고 많은 연결을 통해 데이터를 전달하도록 설계합니다. AI 가속기 등 데이터 전달량이 중요한 시스템에 사용합니다.

대역폭과 지연시간은 다르다

도로의 차선이 많으면 많은 자동차가 동시에 지나갑니다. 이것이 대역폭을 이해하는 비유입니다. 반면 한 자동차가 목적지에 도착할 때까지 걸리는 시간은 지연시간에 가깝습니다.

따라서 용량이 크다, 대역폭이 높다, 지연시간이 짧다는 같은 말이 아닙니다. 도로 비유는 이 차이를 설명하기 위한 것이며 실제 메모리의 전기적 동작을 그대로 재현하지는 않습니다.

칩을 쌓고 옆의 연산 칩과 연결한다

HBM 내부에서는 DRAM 칩을 수직으로 적층하고 TSV, 즉 실리콘을 관통하는 전기 통로 등을 사용합니다. GPU 같은 연산 칩과도 패키지 안에서 많은 신호를 연결해야 합니다. 어떤 연결 구조를 쓰는지는 제품 설계에 따라 달라집니다.

수직 적층은 제한된 면적에 여러 DRAM 칩을 배치하는 데 도움이 됩니다. 하지만 적층 자체만으로 높은 대역폭이 완성되지는 않습니다. 데이터 연결의 폭과 동작 조건도 함께 설계해야 합니다.

자주 하는 오해

HBM도 저장용 Flash인가요? HBM은 DRAM 기반이므로 전원이 꺼지면 데이터를 유지하지 못합니다. 사진을 보관하는 NAND와 역할이 다릅니다.

모든 AI 작업은 HBM만 늘리면 빨라지나요? 데이터 전달이 병목인 경우 효과를 기대할 수 있습니다. 계산 자체나 다른 단계가 병목이면 개선 폭은 달라집니다.

이해했는지 확인하기