엔비디아 "AI 에이전트 속도 높인다"…그록3 LPX 양산 돌입

베라 루빈 NVL72 추론 성능 확장…초당 3400토큰 생성

네비우스 등 AI 클라우드 기업 도입…추론 인프라 경쟁 본격화

엔비디아가 '그록 3 LPX' 본격 양산에 돌입했다고 25일 밝혔다. [사진=엔비디아]

엔비디아가 AI 에이전트의 응답 속도를 높이는 추론 가속기 '그록3 LPX' 양산에 들어갔다. 대규모 데이터를 처리하는 기존 AI 컴퓨팅 성능 경쟁에서 한발 더 나아가 에이전틱 AI의 핵심인 '토큰 생성 속도'를 높이는 인프라 경쟁이 본격화되는 모습이다.

엔비디아는 25일 미국 캘리포니아주 샌타클래라에서 열린 핫칩스 행사에서 그록3 LPX의 본격 양산을 발표했다. 그록3 LPX는 엔비디아의 차세대 베라 루빈 플랫폼을 확장하는 인터랙티브 AI 추론 가속기다.

AI 에이전트는 복잡한 작업을 수행하기 위해 여러 단계의 추론과 도구 호출을 반복한다. 이 과정에서 생성되는 토큰이 많아질수록 개별 토큰을 얼마나 빠르게 생성하느냐가 전체 작업 시간에 영향을 미친다. 엔비디아는 그록3 LPX가 이 지점을 집중적으로 겨냥했다고 설명했다.

성능도 공개했다. 엔비디아에 따르면 그록3 LPX는 오픈소스 에이전틱 모델인 젬마4 31B를 대상으로 한 아티피셜 애널리시스 벤치마크에서 초당 3400개의 출력 토큰을 기록했다. 10만 토큰 규모의 컨텍스트를 적용한 조건에서 해당 모델의 최고 속도라는 설명이다.

엔비디아는 에이전틱 코딩 등 지연시간에 민감한 작업에서 유사 플랫폼보다 최대 4배 빠른 응답 속도를 제공한다고 밝혔다. 코드 작성과 테스트부터 파일 검토와 결과 검증까지 반복적으로 수행하는 AI 에이전트의 작업 시간을 줄이는 데 초점을 맞췄다.

그록3 LPX는 베라 루빈 NVL72 시스템의 추론 성능을 보완하는 역할을 맡는다. 베라 루빈은 대규모 AI 모델의 학습과 추론을 모두 지원하는 플랫폼이다. 여기에 토큰 생성 속도에 특화된 그록3 LPX를 결합해 대규모 컨텍스트 처리와 실시간 응답이라는 에이전틱 AI의 두 가지 요구를 동시에 겨냥하는 구조다.

AI 클라우드 기업들도 도입에 나선다. 네비우스는 자사의 생산용 추론 플랫폼인 '네비우스 토큰 팩토리'에 그록3 LPX를 도입할 계획이다. 개발자가 기존 API를 유지하면서 초고속 토큰 생성 기능을 활용할 수 있도록 한다는 방침이다. AI 추론 기업 그록도 초기 도입 기업 중 하나가 될 예정이다.

이번 양산은 AI 인프라의 경쟁 기준이 바뀌고 있다는 점에서도 의미가 있다. 생성형 AI가 질문에 답하는 수준을 넘어 스스로 계획을 세우고 여러 작업을 수행하는 에이전틱 AI로 확장되면서 단순 연산 처리량뿐 아니라 응답 지연시간과 토큰 생성 속도가 중요한 성능 지표로 떠오르고 있다.

엔비디아는 베라 루빈 플랫폼에 CPU와 DPU 및 스토리지와 이더넷 등을 결합한 랙 단위 시스템을 구축하고 있다. 그록3 LPX를 포함한 플랫폼 전체를 AI 에이전트의 워크로드에 맞춰 최적화하면서 AI 데이터센터 시장에서 추론 인프라 주도권을 이어간다는 전략이다.