생성형 AI 솔루션 기업 제논이 컴퓨터 화면을 직접 보고 판단해 사람이 하듯 프로그램을 조작하는 AI 모델 ‘훈민(Hunmin) VLM 397B’를 오픈소스로 공개했다.
이번에 선보인 훈민 VLM 397B는 3970억개 파라미터 규모의 공개 모델인 ‘Qwen3.5-397B’를 기반으로 개발됐다. 컴퓨터 모니터 속 버튼이나 텍스트 입력창 같은 조작 대상을 찾아내는 그라운딩(Grounding) 기술부터, 실제 운영체제(OS)와 다양한 소프트웨어 안에서 주어진 과업을 끝까지 수행하는 능력을 크게 끌어올린 것이 특징이다.
제논 측 테스트 결과에 따르면, 모니터 화면 내 조작 대상의 정확한 위치를 집어내는 5개 주요 벤치마크 평가에서 베이스 모델인 Qwen3.5-397B는 물론 기존 컴퓨터 조작 특화 모델인 Qwen-CUA보다 우수한 성적을 냈다.
고난도 화면 인식 성능을 측정하는 ‘ScreenSpot-Pro’ 벤치마크에서는 75.6점의 정확도를 기록했다. 모델 공개 당시 글로벌 AI 플랫폼 허깅페이스(Hugging Face) 공식 리더보드 2위에 해당하는 수치다. 실제 리눅스 데스크톱 환경에서 360개에 달하는 복잡한 과제를 수행토록 하는 ‘OSWorld’ 평가에서도 70.5점을 받았다. 이는 기반 모델과 비교했을 때 22.3점이나 뛰어오른 결과다. 윈도우 환경 평가인 ‘WindowsAgentArena’에서도 베이스 모델 대비 9.1점 높은 점수를 얻었다.
화면을 인식해 마우스 클릭이나 키보드 입력을 대행하는 일명 ‘컴퓨터 유징 에이전트(Computer-Using Agent)’ 분야는 글로벌 빅테크들이 사활을 걸고 붙는 영역이다. 사람이 일일이 클릭하고 데이터를 입력하던 단순 반복 업무나 복잡한 시스템 조작을 AI가 대신하도록 만들기 위해서다. 기존에는 대규모 그래픽 처리 장치(GPU) 클러스터를 쏟아부어야만 학습이 가능하다고 여겨졌다.
제논은 효율성에 방점을 찍었다. 공개된 컴퓨터 조작 모델들의 핵심 능력을 저랭크(LoRA) 방식으로 이식한 뒤, 메모리 부담을 대폭 줄인 FP8 양자화 상태에서 지도학습(SFT)과 강화학습(RL)을 순차적으로 진행했다. 모델 전체의 후학습에 들어간 장비는 엔비디아 B200 GPU 단 8장에 불과하다.
초거대 모델의 특정 기능을 강화하다 보면 기존에 갖고 있던 언어 능력이나 멀티모달 이해력이 떨어지는 이른바 ‘파괴적 망각’ 현상이 자주 발생한다. 제논은 KMMLU, K-MMBench 등 8종의 주요 한국어 벤치마크 평가를 거친 결과, 기존 베이스 모델과 비교해 성능 하락 폭을 2점 이내로 방어했다고 설명했다.
개발된 훈민 VLM 397B는 Apache 2.0 라이선스로 전체 공개된다. AI 생태계 참여자 누구나 상업적 이용과 수정이 가능하다. 회사는 원본 라이브러리와 함께 정밀도는 유지하면서도 용량을 절반 수준으로 경량화한 FP8 버전을 함께 배포한다. 연구진이 다른 모델과 동일한 환경에서 성능을 재평가할 수 있도록 관련 파이프라인과 학습 방법론도 공유했다.
제논은 고석태 대표를 중심으로 화면 인식 및 PC 조작 기술을 자사 실행형 AI 서비스인 ‘원에이전트(OneAgent)’에 전면 이식해 고도화할 방침이다. 단순 챗봇 형태를 넘어 사용자의 컴퓨팅 업무를 직접 대행하는 에이전틱 AI 솔루션 시장을 겨냥한 행보다.
명대우 제논 최고기술책임자(CTO)는 "AI 모델 경쟁의 무게중심이 단순히 파라미터 덩치를 키우는 데서 벗어나 대규모 모델에 필요한 능력을 얼마나 효율적으로 얹고 실무에 쓸 수 있게 고도화하느냐로 옮겨가고 있다"며 "훈민 VLM 397B는 한정된 컴퓨팅 자원 환경에서도 컴퓨터 조작 능력을 끌어올리면서 기존 언어·한국어 성능까지 고스란히 보존할 수 있음을 보여준 사례"라고 말했다.
