"메모리 월 넘을 해법은 HBF"…구글도 주목한 차세대 AI 메모리

D램 한계 극복할 HBF 부상…SK하이닉스·샌디스크 표준 공개

구글 딥마인드 "AI 추론칩 시장 10년간 10배 성장"

발표중인 SK하이닉스 임의철 부사장 [사진=SK하이닉스]

인공지능(AI) 시대 급증하는 메모리 병목(Memory Wall)을 해결할 차세대 메모리 기술로 고대역폭플래시(HBF)가 급부상하고 있다. 특히 구글 딥마인드가 'AI 추론 시대를 위한 최적의 메모리 솔루션'으로 HBF를 언급하면서 업계의 관심이 커지고 있다.

6일(현지시간) 미국 캘리포니아에서 열린 세계 최대 메모리 콘퍼런스 FMS 2026에서는 'HBF로 메모리 월을 넘다'를 주제로 SK하이닉스와 구글 딥마인드, 샌디스크가 공동 패널 토의를 진행했다. 

지난 4일 SK하이닉스와 샌디스크가 HBF의 첫 표준 규격을 공개한 데 이어 AI 서비스 기업과 메모리 기업이 상용화 방향을 함께 논의한 자리다. 

HBF는 초고속 D램인 HBM과 대용량 SSD 사이에 위치하는 새로운 메모리 계층이다. HBM 수준의 높은 데이터 전송 속도를 구현하면서도 낸드플래시 기반으로 용량을 대폭 확대할 수 있는 것이 특징이다. HBM을 대체하는 것이 아니라 HBM과 함께 배치해 부족한 메모리 용량을 보완하는 구조다.

이번 논의에는 AI 모델을 직접 개발·운영하는 구글 딥마인드가 참여했다는 점에서 의미가 있다. 메모리 기술을 공급하는 기업이 아닌 실제 수요 기업이 HBF의 필요성을 공개적으로 언급하면서 향후 시장 확대 가능성에 힘을 실었다는 평가다.

구글 딥마인드의 샤오위 마 연구원은 AI 산업이 학습(Training) 중심에서 추론(Inference) 중심으로 빠르게 이동하고 있다고 진단했다. 그는 2024년부터 2034년까지 AI 추론용 칩 시장 규모가 10배 이상 성장할 것으로 전망하며, 기존 메모리 구조만으로는 이를 감당하기 어려울 것이라고 밝혔다.

AI 모델의 매개변수(Parameter)가 빠르게 증가하고 이미지·영상·음성까지 처리하는 멀티모달 AI가 확산되는 데다 대화가 길어질수록 KV 캐시 처리량도 폭증하면서 메모리 용량과 대역폭을 동시에 확보해야 하는 상황이라는 설명이다.

샤오위 연구원은 "기존에는 메모리 용량을 늘리면 대역폭이 낮아지고, 대역폭을 높이면 비용과 전력 소비가 커지는 상충 관계가 있었다"며 "HBF는 기존 스토리지 대비 높은 대역폭과 에너지 효율을 동시에 확보할 수 있는 새로운 대안"이라고 말했다.

샌디스크는 AI 추론 시스템에서 HBF의 경제성을 강조했다. 라지브 나가비라바 부사장은 HBF를 적용하면 KV 캐시를 효율적으로 관리할 수 있어 시스템의 KV 인식률(KV Aware)을 2배 이상 높일 수 있으며, 결과적으로 토큰 생성 시간을 단축하고 GPU 사용량과 운영 비용도 줄일 수 있다고 설명했다.

또 낸드플래시 기반인 만큼 전원이 꺼져도 데이터를 유지하는 비휘발성 특성을 갖춰 장기간 데이터를 저장할 수 있으며, AI 추론처럼 읽기 비중이 높은 환경에서는 낸드의 내구성 문제도 충분히 극복할 수 있다고 덧붙였다.

SK하이닉스는 HBF 상용화를 위해서는 메모리 자체뿐 아니라 시스템 전반의 혁신이 병행돼야 한다고 강조했다.

임의철 SK하이닉스 부사장은 "낸드플래시는 구조적으로 지연시간(Latency)이 길고 쓰기 성능이 낮다는 한계가 있다"며 "프리페칭(Prefetching), 무빙 윈도우 메모리(Moving Window Memory), 하이브리드 메모리 아키텍처 등 하드웨어와 소프트웨어를 함께 설계하는 코디자인(Co-design) 접근이 필요하다"고 말했다.

이어 "HBF를 실제 AI 시스템에서 제대로 활용하기 위해서는 xPU 설계 기업과 LLM 개발자, 소프트웨어 엔지니어 등 다양한 생태계 참여자들이 함께 완성도 높은 표준을 만들어가야 한다"고 강조했다.

앞서 SK하이닉스와 샌디스크는 지난 2월 HBF 표준화 컨소시엄을 출범한 뒤 6개월 만에 첫 표준 규격을 공개했다. 해당 규격은 8단과 16단 낸드 적층을 기반으로 최대 512기가바이트(GB) 용량을 지원하며, 대역폭은 세 등급으로 나눠 초당 0.4테라바이트(TB/s)부터 3.0TB/s까지 구현할 수 있도록 규정했다. 현재 컨소시엄에는 SK하이닉스와 샌디스크를 비롯해 구글, 텐스토렌트 등이 참여하고 있다.