생성형 인공지능(AI) 기반 가상인간 기술을 다뤄온 딥브레인AI가 확장현실(XR) 환경에서 실시간으로 소통하는 3D AI 휴먼 NPC 개발도구를 내놓았다.
딥브레인AI는 XR 공간 내에서 이용자의 음성을 듣고 상황과 역할에 맞춰 자연스럽게 반응하는 ‘페르소나 XR AI 휴먼 SDK(소프트웨어 개발 키트)’ 개발을 완료했다고 밝혔다. 이번 개발은 가상공간 속 NPC(비플레이어 캐릭터)를 단순한 정형화된 대사 전달자에서 실시간 대화가 가능한 상호작용 주체로 진화시키는 데 초점을 맞췄다.
개발된 SDK의 핵심은 고속 음성합성(TTS)과 음소 단위 립싱크 엔진, 그리고 거대언어모델(LLM) 기반의 발화 생성 기술을 하나로 묶은 데 있다. 이용자가 가상공간에서 음성으로 질문을 던지면 AI 휴먼 NPC가 맥락을 실시간으로 파악해 즉각 답변을 생성하는 구조다.
콘텐츠 제작 환경에서의 접근성도 고려했다. 게임 및 XR 콘텐츠 제작에 널리 쓰이는 유니티(Unity) 엔진 기반의 플러그인 형태로 공급된다. 개발자는 기존에 만들어둔 XR 공간이나 앱에 손쉽게 음성 대화 기능이 들어간 AI 휴먼을 이식할 수 있다.
개발자는 프로젝트 목적에 맞춰 AI 휴먼의 성별과 외형, 음성 톤, 기본 제스처는 물론 고유의 페르소나까지 세부적으로 설정할 수 있다. 답변을 만드는 데 쓰이는 LLM 역시 상황이나 보안 요구사항에 따라 다른 모델로 교체해 연동하는 것이 가능하다.
운영 환경은 PC 기반인 윈도우와 맥OS부터 안드로이드 기반의 모바일 XR 기기 및 HMD까지 지원한다. 설정된 역할과 성격에 따라 NPC의 표정과 목소리, 몸짓이 제어되는 방식이다. 딥브레인AI의 감정 인식 기술을 함께 연동할 경우, 질문하는 이용자의 목소리 톤이나 표정을 분석해 응답 시 그에 맞는 감정을 표정에 반영하는 기능도 갖췄다.
NPC의 화법과 답변 내용은 시나리오 기반 학습과 LLM을 동시에 활용해 제어한다. 대화 흐름이 예측 범위를 벗어나더라도 개발자가 사전에 입력해둔 페르소나의 캐릭터성을 잃지 않도록 설계됐다. 앞서 딥브레인AI는 가상인간 구현에 쓰는 자체 영상 합성 기술에 대해 지난해 7월 한국인정기구(KOLAS) 공인시험기관으로부터 영상 품질과 립싱크, 발음 정확도 등에 관한 공인 평가를 거친 바 있다.
회사 측은 이번 SDK를 박물관·전시관 안내, 교육용 가상 튜터, 관광 가이드, 공공기관 무인 안내 등 XR 콘텐츠 제작 현장에 순차적으로 공급한다는 계획이다. 개발 편의를 높이기 위해 산업 분야별 NPC 및 UI 템플릿을 제작해 통합 플랫폼 형태로 제공하고, XR 콘텐츠 제작사를 대상으로 한 사용자 경험(UX) 평가 서비스도 병행 지원한다.
이번 기술 개발은 문화체육관광부와 한국콘텐츠진흥원이 추진하는 문화기술 연구개발(R&D) 지원 사업의 일환으로 진행됐다. 연세대학교 산학협력단이 주관기관을 맡았으며 한양대학교, 한국외국어대학교, 딥브레인AI, 나인파이브, 스토익엔터테인먼트 등이 공동연구개발기관으로 참여했다. 해당 연구 과제는 올해 하반기 최종 실증 평가를 앞두고 있다.
