삼성 zHBM 심층 기획 — 메모리를 GPU 위에 쌓다, AI 반도체 '메모리 장벽'을 넘을 수 있을까

지난 8월 4일부터 미국 캘리포니아 산타클라라에서 열린 세계 최대메모리 반도체 전시회 'FMS(Future of Memory and Storage) 2026'에서 삼성전자가 차세대 메모리 구조 'zHBM'의 개념 모델을공개했다. 고대역폭메모리(HBM)를 그래픽처리장치(GPU) 옆이 아니라 바로 위에 수직으로 쌓아 올리는 방식이다.

삼성전자는 이 구조를 실제 양산 인터페이스로 구현할 경우 현재 최신 세대인 HBM5 대비 최대 8배의 성능과 10배 이상의 메모리 밀도, 3배의 에너지 효율, 50% 이상 낮은 열저항을 달성할 수 있다고 밝혔다.

사진: Unsplash, 무료 라이선스

삼성전자 D램개발실장 김경륜 부사장은 발표 현장에서 "삼성이 돌아왔다(Samsung is back)"는 말로 자신감을 표현했는데, 이는 그동안 HBM 시장에서 SK하이닉스에 주도권을 내줬다는 평가를 받아온 삼성전자가 다음 세대 기술 경쟁에서는 판을 다시 짜겠다는 의지를 드러낸 발언으로 해석됐다.

이 기술이 풀려는 문제를 이해하려면 지금의 AI 반도체가 처한 딜레마부터 살펴봐야 한다. 오늘날 엔비디아 등이 만드는 AI 가속기는 GPU 옆면에 HBM을 나란히 배치하고, 그 사이를 실리콘 인터포저라는 얇은 기판으로 연결해 데이터를 주고받는다.

문제는 칩의 둘레, 즉 GPU와 메모리가 마주 보는 '가장자리 면적'은 칩 크기에 비례해 선형으로만 늘어나는 반면, GPU가 처리해야 할 연산량과 그에 따른 데이터 수요는 훨씬 가파르게 늘어난다는 데 있다. 마치 고층 건물이 높아질수록 각 층에 필요한 물자는 기하급수적으로 늘어나는데, 건물 둘레에 설치할 수 있는 엘리베이터 수는 한정된 것과 비슷한 상황이다.

시장조사기관 퓨처럼그룹의 반도체 담당 리서치 디렉터 브렌던 버크는 이를 두고 "이미 대형 AI 가속기들은 다이 둘레의 대부분을 메모리 인터페이스에 할애하고 있고, 세대가 바뀔 때마다 몇 마이크론의 여유 공간을 두고 경쟁하는 상황"이라며 "이 '해안가 부동산'은 이미 포화 상태"라고 표현했다.

zHBM은 이 문제를 옆으로가 아니라 위로 풀어보자는 접근이다. 웨이퍼 본딩이라는 첨단 패키징 기술을 이용해 D램을 GPU 다이 바로 위에 수직으로 쌓고, 수천 개의 연결 통로를 인터포저를 거치지 않고 곧바로 아래로 뚫어 전력과 신호를 주고받는 방식이다.

다만 이 방식이 지금까지 상용화되지 못했던 이유는 명확하다. 1킬로와트에 가까운 열을 내뿜는 로직 다이 위에 온도에 민감한 D램을 얹으면, D램 특유의 정보 유지·재충전(리프레시) 성능이 온도가 오를수록 급격히 나빠지기 때문이다.

게다가 개당 4만 달러에 이르는 고가의 프로세서 위에 자사의 메모리를 접합하는 과정에서 불량이 나올 경우 그 손실을 메모리 제조사가 고스란히 떠안아야 한다는 점도 그동안 업계가 선뜻 나서지 못한 이유였다.

버크는 "삼성이 발표한 열저항 50% 감소라는 수치는 회사 측 자체 추정치인 만큼 독립적인 검증이 가장 필요한 대목"이라며, 본딩 간격을 10마이크론 이하로 양산 수율과 함께 낮추는 것, 웨이퍼 전체에서 1킬로와트에 달하는 열을 D램의 정보 보존 성능 저하 없이 뽑아내는 것, 그리고 접합 전에 불량 다이를 미리 걸러내는 검사 기술을 확보하는 것을 zHBM 상용화의 3대 관문으로 꼽았다.

삼성전자는 zHBM과 함께 온디바이스 AI에 최적화된 'z-NAND-O', 그리고 웨이퍼 본딩 기술로 만든 세계 최초의 400단 이상 낸드 'V10 BV-NAND'도 함께 공개했다. V10 BV-NAND는 기존 V9 세대 대비 약 58% 향상된 밀도를 구현했는데, 2013년 삼성전자가 세계 최초로 3차원 낸드(V-NAND)를 선보인 지 13년 만에 이뤄낸 진전이다.

낸드플래시를 400단 이상 쌓으려면 얇은 실리콘 기둥에 채널 구멍을 마천루 수준의 종횡비로 뚫어야 하는데, 이 공정에 필요한 고온 처리가 자칫 밑에 깔린 로직 회로를 손상시킬 수 있다는 난제가 있었다. 웨이퍼 본딩은 메모리 셀 배열과 로직 회로를 각각 다른 웨이퍼에 따로 제작한 뒤 나중에 이어붙이는 방식으로 이 문제를 우회한다.

키옥시아나 샌디스크 같은 경쟁사들도 유사한 본딩 구조를 논의해 왔고 중국 YMTC는 이미 자체 방식인 엑스태킹을 양산에 적용해온 만큼, 이번 삼성의 발표가 갖는 진짜 의미는 아이디어 자체가 아니라 400단이 넘는 본딩 구조를 실제로 제품화까지 끌고 간 최초 사례라는 데 있다는 것이 전문가들의 평가다.

메모리를 연산장치에 최대한 가깝게 붙이려는 시도는 삼성전자 혼자만의 승부수가 아니다. 같은 전시회에서 퀄컴은 근접 메모리 컴퓨팅 기술을 통해 기존 대비 10배 이상의 유효 메모리 대역폭을 확보했다고 주장했고, 삼성전자 역시 연산 기능을 메모리 자체에 내장한 세계 최초의 LPDDR 메모리 'LPDDR5X-PIM'을 함께 선보였다.

서로 다른 방식의 기술들이 결국 "데이터를 옮기는 비용이 이제는 데이터를 처리하는 비용보다 더 큰 문제가 됐다"는 동일한 결론을 향해 수렴하고 있는 셈이다. 시장 규모로 보면 이 싸움의 판돈은 결코 작지 않다. 퓨처럼그룹은 데이터센터용 오프칩 메모리 시장이 2025년 171억 달러에서 2026년 968억 달러로 466% 급증한 뒤 2030년에는 2605억 달러까지 성장할 것으로 내다봤다.

HBM은 이미 올해 전체 D램 웨이퍼 생산량의 4분의 1가량을 차지할 정도로 수요가 몰려 있는 품목이기도 하다. 다만 zHBM은 어디까지나 '개념 모델'이라는 꼬리표를 달고 있다는 점에서, 실제 양산까지는 아직 거쳐야 할 단계가 많이 남아 있다. 삼성전자는 이번 전시에서 이미 지난 5월부터 글로벌 고객사에 공급 중인 HBM4E 샘플과 차세대 HBM5 모델도 함께 선보이며 현재 주력 제품군의 로드맵도 놓치지 않았다.

업계에서는 엔비디아, AMD를 비롯한 GPU 설계사들과 빅테크의 자체 칩 설계 프로그램들이 차세대 가속기 로드맵에 수직 적층형 메모리를 위한 다이 면적과 열 설계 여유를 실제로 할당할 것인지, 그리고 경쟁사인 SK하이닉스와 마이크론이 이에 상응하는 자체 수직 적층 개념을 얼마나 빠르게 내놓을 것인지를 다음 관전 포인트로 꼽고 있다.

결국 zHBM이 그리는 미래는 메모리가 더 이상 GPU 옆에 붙는 부품이 아니라, 처음부터 함께 설계되는 하나의 시스템으로 진화하고 있다는 신호라 할 수 있다.