
엔비디아가 거대 인공지능(AI) 모델 확산과 긴 컨텍스트 처리, 에이전트 애플리케이션 구동을 뒷받침할 풀스택 공동설계(Co-design) 전략을 공식 블로그에 내놓았다. 칩에 고대역폭 메모리(HBM) 용량을 무조건 늘려 꽂는 기존 방식에서 벗어나, GPU·CPU·네트워킹·스토리지·소프트웨어를 한 덩어리로 묶어 설계함으로써 AI 데이터센터의 실질적인 메모리 활용도를 끌어올리는 접근법이다.
최근 AI 업계의 화두는 단순 질의응답을 넘어 외부 도구를 호출하고 추론을 반복하는 에이전틱 워크플로우다. 이 과정에서 추론 효율을 발목 잡는 핵심 요소가 메모리다. 추론 단계에서 GPU의 HBM은 모델 자체의 파라미터(가중치)와 작업 문맥을 기억하는 KV 캐시를 동시에 품어야 한다.
KV 캐시는 이전 대화나 요청의 문맥을 매번 처음부터 다시 계산하지 않으려고 임시 저장해 두는 데이터다. 모델이 스스로 도구를 쓰고 판단을 거듭하는 에이전트 환경에서는 이 유지해야 할 문맥의 덩치가 기하급수적으로 커진다. 기업 내부 문서를 프롬프트에 실시간으로 끌어오는 검색증강생성(RAG) 기술 역시 처리하고 보관해야 할 문맥 데이터를 불려놓는다.
엔비디아가 짚은 문제는 메모리 물리 용량만 키운다고 병목이 풀리지 않는다는 점이다. 데이터를 실어 나르는 대역폭이 뒷받침되지 않으면 무용지물이다. 동시 접속자가 몰리면 연산 자원과 메모리 대역폭을 쪼개 써야 한다. HBM 용량을 아무리 늘려도 서비스가 요구하는 응답시간 제한을 맞추지 못하면 추가된 메모리 공간은 놀게 된다.
이에 회사는 데이터의 성격과 호출 빈도에 따라 계층을 나누는 해법을 택했다. 최상단 GPU HBM 아래에 CPU 메모리와 로컬 SSD, 그리고 서버 간 공유 스토리지를 배치해 데이터를 적재적소에 분산시키는 구조다.
데이터 압축과 분산 배치 기술이 핵심이다. 우선 모델 가중치에는 NVFP4 데이터 형식을 적용했다. 기존 호퍼(Hopper) 플랫폼에서 구현 가능한 최저 정밀도인 FP8보다 저장 공간을 한층 더 줄여주는 포맷이다. NVL72 시스템 내부에서는 이 가중치를 최대 72개의 GPU에 쪼개어 분산시킨다. 개별 GPU가 짊어져야 할 모델 무게를 덜어내고, 그렇게 확보한 귀한 HBM 공간에 KV 캐시와 동시 이용자 처리 물량을 채워 넣는 방식이다. KV 캐시 자체에도 NVFP4를 적용해 점유율을 낮췄다.
CPU와 연결 인터페이스의 역할도 커졌다. 베라(Vera) CPU는 에이전트가 외부 도구를 실행하는 작업을 빠르게 처리해 KV 캐시가 대기 상태로 멍하니 머무는 시간을 단축한다. NVLink-C2C로 루빈(Rubin) GPU와 직결된 대용량 LPDDR 메모리는 일시 중단된 작업 문맥을 GPU 바로 곁에 보관하는 완충지대 역할을 맡는다.
소프트웨어 계층에서는 추론 엔진 다이나모(Dynamo)가 교통정리에 나선다. 당장 쓰지 않는 문맥 데이터는 CMX 컨텍스트 메모리 스토리지로 옮겨두었다가, 다시 필요해지는 시점 직전에 GPU 쪽으로 돌려보낸다. CMX는 여러 서버가 함께 쓰는 공유 저장 계층으로, 수명이 짧은 단기 컨텍스트에 불필요한 장기 데이터 보호 오버헤드를 걷어내 속도를 높였다. 다이나모의 KV 캐시 재사용 기능은 GPU·CPU 메모리와 스토리지에 흩어진 캐시를 시스템 전체의 단일 자원으로 묶어 관리한다. 한 번 계산해 둔 문맥은 버리지 않고 재활용하도록 돕는 장치다.
기업용 AI의 필수 요소인 RAG 워크로드 역시 HBM을 침범하지 않도록 분리했다. 니모트론 리트리버(Nemotron Retriever)를 활용해 검색용 임베딩 데이터 크기를 줄이고, cuVS 라이브러리를 통해 방대한 검색 인덱스를 CPU와 스토리지 영역에 구축해 처리한다. 지식베이스 데이터가 비싼 GPU HBM 영역을 차지하지 않게 떼어낸 셈이다.
실제 벤치마크 수치는 하드웨어 스펙 이상의 효율 차이를 보여준다. 엔비디아가 인용한 세미애널리시스(SemiAnalysis) AgentX의 딥시크(DeepSeek) V4 Pro 워크로드 비교 결과, GB300 NVL72 시스템은 사용자당 초당 100토큰 처리 조건에서 기존 H200 플랫폼 대비 달러당 처리량이 최대 10배에 달했다.
차세대 아키텍처인 베라 루빈 NVL72의 격차는 더 벌어진다. 사용자당 초당 125토큰 조건에서 GB300 NVL72 대비 달러당 처리량이 최대 30배로 나타났다. 정작 이 과정에서 GPU당 HBM 물리 용량 증가는 약 3% 수준에 그쳤다.
엔비디아는 이 수치를 근거로 단순한 메모리 칩 증설이 아니라 반도체와 인터커넥트, 스토리지, 추론 소프트웨어를 아우르는 시스템 전체의 공동설계가 실제 AI 팩토리의 추론 경제성을 좌우한다고 강조했다.






