엔비디아가 자사의 3D 시뮬레이션 플랫폼 옴니버스(NVIDIA Omniverse) 라이브러리와 프런티어 AI 에이전트를 결합해 구축한 첨단 시뮬레이션 개발 사례들을 대거 공개했다.
이번 프로젝트의 핵심은 개발자가 복잡한 프로그래밍 대신 자연어로 AI 에이전트에 지시를 내리면, 시스템이 스스로 GPU 가속 물리 연산과 렌더링, 센서 시뮬레이션 코드까지 연동해 내놓는 방식이다. 개발자가 아이디어를 제시하고 결과물을 검토하는 동안 AI 에이전트가 백엔드의 복잡한 그래픽 엔진과 파이프라인을 알아서 붙여주는 식이다.
엔비디아의 프랭크 드라이스(Frank DeLise) 옴니버스 제품 매니저는 AI 에이전트 '아스트라(Astra)'를 활용해 즉시 시뮬레이션이 가능한 심레디(SimReady) 창고 환경과 휴머노이드 로봇을 1인칭 및 3인칭 인터랙티브 시뮬레이터로 순식간에 바꿔놓았다. 아스트라는 물리 연산용 ovphysx, 장면 업데이트용 ovstage, Rtx 렌더링용 ovrtx, 사용자 인터페이스용 ovui 등 파편화된 라이브러리들을 하나로 묶어 동작 코드와 애니메이션을 자동으로 만들어냈다.
자율주행 연구 분야에서도 유의미한 성과가 나왔다. 김도엽(Doyub Kim) 엔비디아 시뮬레이션 기술팀 매니저는 미국 샌프란시스코의 마켓 스트리트 지형을 기반으로 재사용이 가능한 ‘제로 투 알파마요(Zero to Alpamayo)’ 환경을 구축했다. 3D 자산 생성부터 도로 교통 흐름, 옴니버스 RTX 센서 시뮬레이션, 알파마요 주행 알고리즘을 단계별로 연결한 프로젝트다.
이 환경에서는 특정 도로 장면이나 센서 구성을 바꿨을 때 자율주행 모델의 주행 제어에 어떤 변동이 생기는지 정밀하게 추적해 볼 수 있다.
센서 정밀도를 높이기 위한 검증 절차에도 에이전트가 투입됐다. 애슐리 레이드(Ashley Reid) 연구원은 아스트라 및 클로드 파블 5(Claude Fable 5) 에이전트를 가동해 ovrtx 카메라와 원시 라이다(LiDAR) 출력값을 실제 데이터와 비교 분석했다. 약 사흘 동안 에이전트는 데이터 간 차이를 스스로 측정하고 오픈USD(OpenUSD) 장면을 직접 수정 및 생성하는 성능을 보였다. 누락된 3D 객체나 기하학적 구조, 재질 표현을 알아서 메우며 센서 데이터의 일치율을 끌어올렸다.
휴머노이드 로봇의 고난도 동작 실증 작업인 ‘로보 올림픽(Robo Olympics)’ 실험도 시선을 끈다. 연구진은 유니트리(Unitree) G1 휴머노이드 로봇의 스포츠 움직임을 시뮬레이션에 옮겼다. 아스트라가 제어기를 작성하고 물리 시험을 거쳐 오류를 잡는 방식으로 진행됐으며, 한 단거리 장애물 실험에서 로봇은 100회의 시뮬레이션 중 64회나 단일 허들을 뛰어넘는 동작을 구현했다. 뉴턴 물리 엔진(Newton Physics Engine)이 기초 동작을 다듬고 엔비디아 워프(Warp)가 연산을 도왔으며 ovrtx가 렌더링을 맡았다.
산업용 로봇을 이용한 분해 프로젝트 역시 AI 에이전트의 보조를 받았다. 아스트라는 캐드(CAD) 프로그램인 PTC 온셰이프(Onshape)로 제작된 자동차 서스펜션 구조를 가져와 엔비디아 아이작 심(NVIDIA Isaac Sim) 환경으로 이식했다. 가용 공간을 측정한 에이전트는 로봇이 서스펜션 내부 볼트에 닿을 수 있도록 전용 렌치까지 직접 설계해 냈고, 시뮬레이션 내부에서 해당 부품을 안전하게 분해하는 데 성공했다.
미국 항공우주국(NASA)의 실시간 원격 측정 데이터를 연동해 브라우저용 국제우주정거장(ISS) 3D 앱을 구현한 사례나, 스테레오 카메라로 촬영한 실제 공간을 편집 가능한 OpenUSD 스튜디오로 전환한 기술도 주목받았다. 후자의 경우 3D 재구성에 PyCuSFM과 파운데이션스테레오(FoundationStereo), nvblox 기술을 묶어 사용했으며, 아이작 심 테스트를 거쳐 문이나 서랍이 움직일 때의 물리적 충돌 영역을 세밀하게 보정했다.
실제 장비를 다루기 전 가상 공간에서 AI 에이전트와 함께 시뮬레이션 체계를 다지는 일은 로보틱스와 자율주행, 정밀 제조 분야의 핵심 연구개발 방식으로 자리를 잡아가는 모양새다.
