AI 거대언어모델(LLM)이 대형화되면서 데이터센터 내부 연산 장치와 메모리 간 병목 현상을 해결하는 일이 반도체 업계의 최우선 과제로 떠올랐다. 단순 엔비디아 GPU를 수천 개 끌어모아 네트워크로 묶는 기존 방식으로는 초거대 AI 연산 과정에서 발생하는 막대한 데이터 이동 지연과 전력 소모를 감당하기 어렵기 때문이다.
KAIST 전기및전자공학부 정명수 교수 연구팀과 정 교수가 교원 창업한 CXL 팹리스 기업 파네시아, 빅테크 메타(Meta) 연구진이 CXL(Compute Express Link)을 기반으로 데이터센터 전체를 하나의 거대한 칩처럼 작동시키는 차세대 AI 데이터센터 아키텍처를 새로 제시했다.
연구진의 공동 리뷰 논문은 네이처(Nature)가 발행하는 국제 학술지 ‘네이처 리뷰스 일렉트리컬 엔지니어링(Nature Reviews Electrical Engineering)’ 8월 10일 자에 게재됐다. 논문명은 ‘One-Chip-Like Datacenter Design Enabled by CXL-Based Scale-Up Fabrics’다.
핵심은 서버라는 물리적 박스의 경계를 없애는 데 있다. 지금까지의 데이터센터는 스위치와 이더넷, 인피니밴드 같은 전통적인 네트워크망을 거쳐 수많은 서버 박스를 연결했다.
이 방식은 서버 내부 메모리나 GPU 연산에는 빠르지만, 다른 서버로 넘어가는 순간 데이터 이동 지연이 마이크로초(μs) 단위로 늘어나는 치명적인 단점이 존재한다.
연구진이 제시한 아키텍처는 CPU와 AI 가속기, 메모리를 차세대 인터커넥트 표준인 CXL 스위치 기반으로 묶는 방식이다. 데이터센터 전체의 자원을 하나의 거대한 컴퓨터처럼 직접 연결해 스케일업(Scale-up) 영역을 데이터센터급으로 확장했다.
현재 엔비디아가 자랑하는 NVLink나 최근 구글·AMD 등이 결성한 UALink 역시 가속기 간 초고속 연결을 지원하지만, 어디까지나 단일 랙 내 제한된 범위에 머문다. 메모리와 CPU까지 포함해 데이터센터 전체 자원을 단일 CXL 패브릭으로 묶는 시도는 한 단계 나아간 차세대 설계 방식이다.
연구진이 공개한 구조에 따르면 단일 CXL 연결 영역 안에 최대 960개의 AI 가속기를 직접 묶을 수 있다. 이는 현재 엔비디아의 NVLink 기반 랙이 지원하는 가속기 수와 비교해 약 13배 이상 확장된 규모다.
서버 간 데이터 이동 지연시간도 획기적으로 줄어든다. 기존 네트워크망을 거치는 방식에서는 데이터 전달에 마이크로초 단위의 시간이 걸렸지만, CXL 기반 스케일업 아키텍처를 도입하면 수백 나노초(ns) 수준까지 단축할 수 있다. 나노초는 10억분의 1초로, 기존 대비 지연시간을 10분의 1 이하로 줄이는 셈이다.
이 같은 구조는 데이터센터 운용의 고질병인 '꼬리 지연(Tail Latency)' 문제를 푸는 열쇠가 될 수 있다. 초거대 AI 모델을 학습하거나 추론할 때 수천 개의 가속기 중 단 하나라도 데이터를 늦게 받으면 전체 연산이 멈춰 서는 병목 현상이 발생하는데, 연결 지연 자체를 물리적으로 줄여 연산 효율을 극대화하는 원리다.
자원 운용 방식도 완전히 달라진다. 기존에는 특정 서버 내부의 메모리가 남고 옆 서버의 메모리가 부족해도 이를 서로 나눠 쓰기가 사실상 불가능했다.
반면 CXL 패브릭 환경에서는 CPU, 가속기, 메모리가 개별 자원 블록(Pool)으로 존재한다. 워크로드 성격에 따라 필요한 만큼 연산 자원과 메모리를 할당하고, 특정 부품에 고장이 발생하면 전체 서버를 끄지 않고 해당 모듈만 떼어내 교체하는 유연한 관리가 가능해진다.
이번 성과는 KAIST에서 축적된 CXL 연구 인프라가 교원 창업 기업인 파네시아의 실물 반도체 개발로 이어지고, 글로벌 빅테크인 메타의 데이터센터 연구진과 결합해 거둔 산학 협력 사례다. 파네시아는 제안된 CXL 스위치 및 컨트롤러 핵심 기술을 실제 반도체 칩(SoC)으로 제작해 작동 검증을 마쳤다.
AI 반도체 시장의 주도권을 잡기 위해 엔비디아, CXL 컨소시엄, 글로벌 빅테크 기업 간의 인터커넥트 주도권 싸움은 점차 격화되고 있다. 파네시아와 KAIST, 메타 연구진의 이번 논문 발표는 차세대 AI 데이터센터의 표준 아키텍처 논의에서 CXL 기반 스케일업 기술이 유력한 대안이 될 수 있음을 입증한 계기가 될 것으로 보인다.
