HBM도 SSD도 아닌 제3의 메모리 — SK하이닉스·샌디스크가 공개한 'HBF' 표준이 노리는 것

챗GPT 같은 거대 언어모델을 실제 서비스에 투입하는 "추론" 단계에서 요즘 AI 업계가 가장 자주 입에 올리는 말은 다름 아닌 "메모리 벽"이다. GPU 연산 성능은 매년 가파르게 좋아지고 있는데, 그 GPU 옆에 붙어 데이터를 실어 나르는 메모리의 용량과 속도가 이를 따라가지 못해 병목이 생기는 현상을 가리키는 말이다.

지금 이 병목을 메우는 주역은 HBM, 즉 고대역폭 메모리다. D램을 수직으로 쌓아 올려 GPU 바로 옆에 붙이는 이 방식은 대역폭은 뛰어나지만 용량을 키우는 데 한계가 있고 가격도 비싸다. 그렇다고 대안으로 저장장치인 SSD를 끌어오자니, 이번에는 용량은 넉넉해도 속도가 GPU가 필요로 하는 수준에 한참 못 미친다. 지난 8월 3일, SK하이닉스와 미국 낸드플래시 기업 샌디스크가 이 틈새를 정면으로 겨냥한 새로운 메모리 규격, HBF(High Bandwidth Flash·고대역폭 플래시)의 첫 기술 표준 문서를 오픈컴퓨트프로젝트(OCP)를 통해 공개했다.

HBF를 가장 쉽게 설명하면 "HBM의 쌓는 방식을 빌려 온 낸드플래시"다. D램 대신 낸드플래시 칩을 HBM처럼 여러 층으로 수직 적층해서, 기존 낸드플래시보다 훨씬 빠른 속도를 내면서도 D램보다는 훨씬 저렴하고 큰 용량을 담아내는 것이 핵심 아이디어다. 이번에 공개된 규격에 따르면 HBF는 8단 또는 16단으로 낸드 칩을 쌓아 패키지당 최대 512기가바이트 용량을 지원하며, 대역폭은 초당 0.4테라바이트에서 최대 3테라바이트까지 낼 수 있다.

감을 잡기 쉽게 비교하자면, 현재 GPU에 흔히 쓰이는 HBM3E 한 스택이 대략 24~36기가바이트 용량에 초당 1.2테라바이트 안팎의 대역폭을 내는 것과 비교했을 때, HBF는 속도는 비슷하거나 오히려 더 빠르면서 용량은 10배 넘게 크다는 뜻이다. 반대로 일반 데이터센터용 SSD와 비교하면 HBF의 대역폭은 SSD보다 수백 배 빠르다. 결과적으로 HBM과 SSD 사이 텅 비어 있던 자리에 새로운 메모리 계층 하나가 통째로 들어서는 셈이다.

이 기술이 노리는 가장 직접적인 용도는 이미 학습이 끝난 거대 언어모델을 실제 서비스에 돌리는 "추론" 워크로드다. 모델 크기가 수천억, 수조 개 매개변수로 커지면서 이를 GPU에 붙은 HBM만으로 전부 올리는 것이 사실상 불가능해졌고, 그렇다고 매번 느린 SSD나 원격 스토리지에서 데이터를 끌어오면 응답 속도가 크게 느려진다. HBF는 이 중간 지점에서 모델의 많은 부분을 GPU 가까이에 상주시켜, 매번 데이터를 새로 불러오지 않고도 큰 모델을 빠르게 서비스할 수 있게 해준다는 설명이다.

특히 눈에 띄는 것은 SK하이닉스와 샌디스크가 지난 2월 컨소시엄을 꾸린 지 불과 6개월 만에 첫 기술 표준 문서를 내놓았고, 그 사이 구글과 AI 반도체 스타트업 텐스토렌트가 컨소시엄에 합류했다는 점이다. 이번 규격 발표 행사인 FMS 2026 현장에서는 SK하이닉스 임의철 부사장, 샌디스크 라제브 나가비라바 부사장과 함께 구글 딥마인드의 시니어 스태프 엔지니어 샤오위 마가 나란히 패널 토론에 참여해 "고대역폭 플래시로 메모리 벽 돌파하기"라는 주제로 이야기를 나눴다는 점에서, 이 기술이 단순한 반도체 업체들만의 구상이 아니라 실제 AI 서비스를 운영하는 빅테크 쪽에서도 필요성을 인정하고 있다는 신호로 읽힌다.

물론 HBF가 세상에 나왔다고 해서 곧바로 시장을 재편하는 것은 아니다. 아직은 OCP를 통해 공개된 "첫 번째" 기술 규격 단계이고, 실제 양산과 GPU 생태계 채택까지는 시간이 더 필요하다. 그럼에도 이번 발표가 의미 있는 이유는, 삼성전자 역시 같은 FMS 2026 행사에서 GPU 위에 D램을 수직으로 쌓아 올려 HBM5보다 최대 8배 빠른 성능을 노리는 차세대 구조 zHBM을 공개하는 등, 메모리 업계 전체가 "HBM 하나로는 부족하다"는 문제의식 아래 각자의 해법을 내놓고 있다는 흐름 속에 있기 때문이다.

다만 삼성의 zHBM은 2029년 전후를 목표로 하는 다소 먼 미래의 기술인 반면, HBF는 이미 표준화 작업이 상당히 진척된 상태라는 차이가 있다. AI 반도체 업계에서는 SK하이닉스와 샌디스크가 표준을 선제적으로 공개함으로써 HBF를 사실상의 업계 표준으로 자리매김하려는 전략으로 풀이하는 시각도 나온다. 실제로 이번 발표 이후 SK하이닉스 주가가 하루 만에 5% 넘게 오르는 등 시장의 반응도 즉각적이었다. 결국 관건은 엔비디아를 비롯한 GPU 진영이 이 새로운 메모리 계층을 자사 아키텍처에 얼마나 빠르게 받아들이느냐에 달려 있는데, 이 부분이 앞으로 HBF의 실제 상용화 속도를 가늠하는 핵심 변수가 될 것으로 보인다.