인공지능(AI) 경량화 기술이 거대언어모델(LLM) 시장의 수익성 한계를 해결할 대안으로 떠오르는 가운데, 국내 기술 스타트업이 국제 무대에서 기술력을 입증했다.
AI 모델 경량화·최적화 전문 기업 노타가 세계적인 머신러닝 학회인 'ICML 2026' 내 최적화 챌린지에서 최종 3위를 차지했다. 이번 대회는 학회 산하 AdaptFM 워크숍의 일환으로 열린 'Efficient Qwen Competition'이다. 전 세계에서 AI 성능 최적화 기술을 다루는 40여 개 기업과 연구팀이 참여해 효율성을 겨뤘다.
대회의 핵심 과제는 전력과 하드웨어 자원이 제한된 환경에서 얼마나 빠르고 정확하게 언어모델을 구동할 수 있느냐였다. 참가팀들은 글로벌 시장에서 주목받는 오픈소스 LLM인 'Qwen3.5-4B' 모델을 대상으로 단일 엔비디아 A10G GPU라는 한정된 리소스 조건 안에서 추론 속도와 답변의 품질을 동시에 끌어올려야 하는 엄격한 기준을 요구받았다.
노타는 이번 대회에서 성능 저하를 최소화하면서도 모델의 추론 속도를 평균 6.978배나 향상시키는 성과를 냈다. 통상 성능을 올리면 연산 비용이 치솟고 속도를 억지로 올리면 정확도가 무너지는 LLM의 고질적인 트레이드오프(개선과 손실의 모순 관계) 문제를 자사만의 독자적인 경량화 알고리즘으로 풀어낸 결과다.
이들이 제시한 해법은 양자화(Quantization)와 추측적 디코딩(Speculative Decoding)의 영리한 결합이다. 모델 내부 데이터의 정밀도를 낮춰 연산량을 줄이는 양자화 기술을 적용하고, 가벼운 드래프트 모델이 먼저 답안을 예측한 뒤 본 모델이 검증하는 추측적 디코딩 방식을 얹었다.
여기에 긴 문장을 처리할 때 입력 데이터의 특정 부분만 집중적으로 연산하도록 돕는 '슬라이딩 윈도우 어텐션' 기법을 더해 메모리 병목 현상과 불필요한 연산 낭비를 지웠다. 실제 기업들이 온프레미스(사내 구축형) 환경이나 소형 서버에서 LLM을 도입할 때 가장 골머리를 앓는 운영 비용 문제를 정조준한 기술 조합이다.
단순 챌린지 순위 진입에 그치지 않고 학술적인 전문성도 인정받았다. 이번 ICML 2026 AdaptFM 워크숍에서는 노타 연구진이 제출한 혼합전문가(MoE) 기반 대규모 언어모델 양자화 관련 논문 두 편이 나란히 정식 채택됐다. 학계에서도 노타의 알고리즘 설계 능력을 높이 평가한 셈이다.
글로벌 테크 기업들이 매년 막대한 자금을 쏟아부으며 고성능 하드웨어를 사들이는 상황에서 이 같은 소프트웨어 기반의 경량화 솔루션은 스타트업과 일반 기업들의 AI 진입 장벽을 낮추는 핵심 무기로 평가받는다.
김태호 노타 최고기술책임자(CTO) 겸 공동창업자는 "제한된 하드웨어 환경에서 초거대 모델의 성능을 극대화하는 경량화 기술은 앞으로 디바이스 내부에서 자체 작동하는 온디바이스 AI 시대의 핵심 인프라가 될 것"이라며 "이번에 검증한 연산 효율화 솔루션을 엣지 AI와 모바일 분야 등으로 확대 적용해 상용화 속도를 높이겠다"고 밝혔다.
