[2026 GGGF] "AI 병목은 이제 메모리"…SK하이닉스, 에이전트 시대 '메모리 중심' 승부

주영표 부사장 "성능·전력·비용 문제 모두 메모리 앞에"

HBM 넘어 3D 적층·PIM·CXL로 데이터 이동 병목 해소

주영표 SK하이닉스 시스템 아키텍처(System Architecture) 담당(부사장)이 2일 아주경제신문 주최로 서울 중구 더플라자에서 열린 '제18회 착한 성장, 좋은 일자리 글로벌포럼(2026 GGGF)'에서 강연하고 있다. [사진=유대길 기자]

인공지능(AI)이 챗봇을 넘어 추론과 에이전트 단계로 진화하면서 AI 시스템의 병목이 연산장치에서 메모리로 이동하고 있다. SK하이닉스는 성능과 전력 효율에 이어 자원 활용 문제까지 AI 시스템의 핵심 난제가 메모리에 집중되고 있다고 진단했다. HBM을 넘어 메모리와 연산장치의 거리를 줄이고 여러 가속기가 메모리를 공유하는 '메모리 중심 컴퓨팅'이 AI 확장의 다음 승부처라는 것이다.

주영표 SK하이닉스 시스템 아키텍처 담당 부사장은 2일 아주경제신문 주최로 서울 중구 더플라자에서 열린 '제18회 착한 성장, 좋은 일자리 글로벌포럼(2026 GGGF)'에서 "최근에는 메모리가 문제인 것 같다"며 "성능과 에너지 효율 그리고 자원 효율 최적화 문제가 모두 메모리 앞에 놓여 있다"고 말했다. 그는 "병목이 있는 곳이 컴퓨팅의 중심"이라며 "현재 병목은 메모리"라고 강조했다.

메모리 수요를 밀어 올리는 것은 AI 서비스의 변화다. 기존 챗봇은 이용자와 대화하는 속도에 맞추면 됐지만 에이전틱 AI는 AI끼리 대화하며 코드를 생성하고 실행한 뒤 오류를 고쳐 다시 작업한다. 주 부사장은 "사람과 대화할 때는 초당 20개 정도 토큰이면 되지만 기계들끼리 대화한다면 수천 단위 속도로 답을 내줘야 한다"며 시스템 성능 요구가 크게 높아지고 있다고 설명했다.

SK하이닉스는 이에 대응한 메모리 혁신 방향을 성능과 에너지 효율 그리고 자원 활용도 등 세 축으로 잡았다. 정해진 면적에서 메모리 대역폭을 얼마나 높일지와 데이터 한 비트를 GPU·NPU·TPU 등 연산장치까지 전달하는 에너지를 얼마나 줄일지가 핵심이다. 비싼 GPU와 메모리가 쉬지 않고 일하도록 시스템 활용도를 높이는 것도 과제로 꼽았다.

HBM은 이런 변화를 이끈 대표 사례다. 주 부사장은 "GPU가 각광받은 덕에 HBM이 주목받았다고 볼 수도 있지만 HBM 같은 메모리가 있었기 때문에 GPU가 더 좋은 성능을 낼 수 있었다"고 말했다. 이어 에이전틱 AI 시대에는 현재의 HBM과 GPU 조합만으로 충분한지를 놓고 업계의 고민이 커지고 있다고 설명했다.

대안 가운데 하나는 메모리와 연산장치의 거리를 더 줄이는 것이다. D램을 프로세서 위나 아래에 3차원으로 쌓으면 데이터 이동 거리를 단축할 수 있다. 메모리 안이나 가까운 곳에서 직접 연산하는 PIM도 같은 맥락이다. 주 부사장은 "연산 하나를 하는 것보다 메모리에서 데이터를 꺼내 연산장치까지 가져다주는 데 훨씬 많은 에너지가 들어간다"며 "이동 거리가 멀어질수록 에너지 효율이 급격하게 하락한다"고 말했다. 다만 3D 적층은 발열과 저장공간 감소 등 기술적 과제가 남아 있다고 설명했다.

여러 가속기가 메모리를 공유하는 CXL도 해법으로 제시됐다. 기존에는 GPU가 작업을 끝낸 뒤 다른 GPU가 받을 준비를 할 때까지 기다려야 했다면 공유 메모리를 두면 데이터를 맡겨두고 다음 연산장치가 필요할 때 가져갈 수 있다. SK하이닉스는 이를 통해 GPU 간 데이터 복사와 동기화 과정에 낭비를 줄이는 방안을 연구하고 있다. 주 부사장은 CXL이 AI를 위해 탄생한 규격은 아니지만 개방형 메모리 인터페이스라는 특성 때문에 AI 시스템 적용이 확대되고 있다고 설명했다.

AI 알고리즘 효율화가 메모리 수요 감소로 직결될 것이란 관측에는 선을 그었다. 주 부사장은 자동차 연비가 좋아졌지만 전체 석유 소비가 오히려 늘어난 '제번스의 역설'을 예로 들며 "AI 서비스 비용이 낮아지면 AI 서비스를 더 많이 사용할 것"이라고 말했다. 알고리즘 최적화로 개별 서비스의 메모리 사용량이 줄더라도 전체 AI 수요가 늘면 메모리 수요 역시 증가할 수 있다는 의미다.

주 부사장은 "과거에는 CPU가 시스템의 병목이었고 CPU를 좋게 만들면 시스템 성능이 그대로 올라갔다"며 "현재 병목은 메모리에 있다"고 말했다. 이어 "메모리 성능과 에너지 효율을 높이면 AI 시스템이 훨씬 더 좋아질 수 있을 것"이라고 강조했다.