
엔비디아가 11월 19일 공식 블로그를 통해 인공지능(AI) 에이전트와 자사 3D 시뮬레이션 플랫폼 '엔비디아 옴니버스(NVIDIA Omniverse)' 라이브러리를 결합한 실제 개발 사례를 공개했다. 개발자가 복잡한 코딩 대신 자연어로 작업 방향을 던지고 산출물을 검토하면, 옴니버스가 그래픽처리장치(GPU) 가속 기반의 물리 연산과 렌더링, 센서 시뮬레이션을 뒷받침하는 구조다.
산업 현장에서 디지털 트윈이나 로봇 제어 환경을 구축하려면 3D 자산을 일일이 배치하고 물리 법칙을 코딩하는 데 막대한 시간이 든다. 최근 생성형 AI 에이전트가 코드 작성과 환경 구성을 대신 처리하기 시작하면서 개발 방식이 달라지고 있다.
글로벌 해양·방산 기업 콩스버그(KONGSBERG) 계열사인 팔코(Falkor)의 '팔코 서피스(Falkor Surface)' 플랫폼이 대표적이다. 이 플랫폼은 'GPT-6 아스트라(GPT-6 Astra)'를 활용해 컴퓨터 지원 설계(CAD)와 엔지니어링 데이터를 실제 설비 규모의 디지털 트윈으로 바꾼다. 마이크로소프트 애저(Microsoft Azure) 환경의 엔비디아 RTX 프로 6000 서버 에디션(NVIDIA RTX PRO 6000 Server Edition) GPU와 옴니버스 라이브러리를 엮어 구동한다. 엔지니어들은 직접 현장을 찾지 않고도 가상 공간에서 설비 배치 계획을 미리 시험하고, 공유 화면을 보며 장비 간 여유 공간을 점검할 수 있다.
로보틱스 제어 분야에서는 3D 자산 라이브러리 '심레디 센트럴(SimReady Central)'과 로봇 시뮬레이터 '엔비디아 아이작 심(NVIDIA Isaac Sim)'이 투입됐다. 엔비디아 소속 개발자 딜런 베일리씨와 리샤브 차다씨는 GPT-6 솔(GPT-6 Sol)과 아이작 심 스킬을 탑재한 에이전트에게 장면 구성과 제어 코드 생성을 맡겼다.
에이전트가 만든 환경 안에서 로봇 관절의 움직임과 물체 접촉 동작, 그리퍼가 캔을 집어 올리고 이동해 내려놓는 일련의 과정을 시험했다. 이후 물체 위치와 이동 경로를 수시로 바꾸며 결과값을 비교할 수 있도록 구성했다.
가상현실(VR) 콘텐츠 개발 현장에서도 에이전트 활용이 돋보였다. 커뮤니티 개발자 마이클 와그너씨는 단 두 장의 참고 이미지만 건네며 학습 공간을 모델링하라고 GPT-6 아스트라에 지시했다. 이어 코딩 에이전트 '클로드 코드(Claude Code)'를 돌려 음성 기반 자산 검색 기능과 VR 상호작용 애플리케이션을 짰다. 엔비디아 RTX 6000 에이다(Ada) 워크스테이션과 메타 퀘스트 3(Meta Quest 3)를 활용해 주말 동안 개발을 마쳤으며, 클로드 코드 에이전트가 실제로 작업한 시간은 약 8시간에 불과했다.
자동화 테스트가 미처 걸러내지 못한 세부 결함은 개발자가 직접 잡았다. 와그너씨는 헤드셋을 머리에 쓰고 가상 물체가 미세하게 떨리는 현상을 포착했고, 물체를 잡는 제어 로직을 매 프레임마다 한 번씩 갱신하도록 손봐 문제를 해결했다.
의료 공간 시뮬레이션도 구현됐다. AI 개발자 마지야르 파나히씨는 '클로드 오퍼스 5.5(Claude Opus 5.5)' 기반의 클로드 코드에 엔비디아 심레디 병원 자산 13개를 활용해 중환자실을 꾸미고 '마이크로덕(Microduck)' 로봇을 시험하도록 지시했다. 물리 엔진 뉴턴(Newton) 설정이 반영된 자산을 썼다.
256개 병동을 동시에 띄운 대규모 시험에서 시뮬레이션 시간 14초가 흐른 뒤 로봇 768대 중 766대가 넘어지지 않고 서 있는 결과를 얻었다. 투입된 로봇들은 사전에 학습된 보행 AI를 바탕으로 미리 짜인 경로상의 지점을 따라 움직였다.
물류 창고 규모의 부하 테스트에서는 시스템의 한계치도 함께 확인했다. 엔비디아 수석 엔지니어 바빅 상가니씨는 아스트라와 옴니버스 라이브러리를 묶어 가상 물류 장면을 키우고 시스템 병목 구간을 추적했다. 컨베이어 80개, 로봇 팔 40개, 상자 800개를 배치한 환경에서 2분간 시험을 돌린 결과 풀HD 해상도 기준 초당 30프레임을 방어했고, 로봇 팔은 상자 놓기 작업을 640회 성공했다. 하지만 동일한 장면의 규모를 두 배로 불리자 물리 연산과 로봇 제어 파이프라인 전반에서 성능 저하가 나타났다.
엔비디아는 이번 사례들을 소개하면서 AI 에이전트가 자산을 배치하고 코드를 짠 이후에도 인간 개발자가 직접 동작과 결과를 검증하는 과정이 필수적이라는 점을 분명히 했다. 산업용 로봇 기업 ABB 로보틱스(ABB Robotics)의 양팔 로봇 '유미(YuMi)' CAD 모델을 오픈USD(OpenUSD)와 시뮬레이션 자산으로 변환한 별도 사례가 단적인 예다.
해당 시험에서 유미의 양팔과 그리퍼는 큐브 집기와 이동 동작을 네 차례 수행했다. 그러나 엔비디아는 에이전트가 추정한 물리 속성을 실제 물리적 로봇의 제원에 맞춰 정밀 보정한 것은 아니라고 선을 그었다. 공개된 동작 결과 역시 어디까지나 설정된 가상 시뮬레이션 조건 안에서 확인된 수치라는 설명이다.






