생성형 AI가 고도화될수록 모델 자체의 연산 성능만큼이나 외부 데이터를 실시간으로 찾아내 검증하는 기술이 거대한 병목으로 떠오르고 있다. AI가 답변을 만들어내기 전 관련 정보를 찾아내는 '벡터 검색' 작업이 기하급수적으로 늘어나면서 기존 데이터센터 서버의 CPU와 GPU 부담이 한계치에 다다랐기 때문이다.
이러한 연산 병목을 해결하기 위해 딥테크 스타트업 디노티시아가 전용 하드웨어 카드 4장을 단일 서버에 결합한 새로운 AI 인프라 모델을 현지 무대에 올려놓았다.
디노티시아는 9월 15일부터 17일까지 미국 실리콘밸리 산타클라라 컨벤션센터에서 개최된 'AI 인프라 서밋 2026'에 참가해 벡터 데이터 처리 전용 프로세서인 'VDPU(Vector Data Processing Unit)' 카드 4장을 탑재한 서버 실물을 최초로 공개했다.
현장 발표에 나선 양세현 디노티시아 최고기술책임자(CTO)는 VDPU의 새로운 시스템 아키텍처와 실제 서버 테스트 결과를 상세히 공개했다. 회사가 제시한 핵심 개념은 역할 분담이다. 답변 생성 작업은 GPU가 전담하고, 검색 및 데이터 조회는 VDPU가 맡아 처리함으로써 범용 CPU와 GPU가 본연의 연산 작업에만 집중하도록 만드는 구조다.
성능 평가 결과는 수치로 증명됐다. VDPU 카드 4장을 장착한 서버는 범용 CPU 중심으로 구성된 기존 서버와 비교했을 때 벡터 검색 처리량이 최대 5.77배까지 상승했다.
데이터의 차원이 높아질 때의 효율성은 더 두드러졌다. 고도화된 AI 모델에서 자주 다루는 4096차원의 멀티모달 데이터를 처리할 때 기존 CPU 서버 방식 대비 CPU 점유율은 92%나 줄어들었고, 메모리 사용량 역시 73% 감소하는 결과를 보였다. 서버에 가해지는 과부하를 획기적으로 낮추면서도 검색 정확도는 이전 수준을 유지하거나 오히려 향상됐다.
현재 디노티시아는 기술 상용화를 위한 단계별 작업을 진행 중이다. 첫 번째 전용 실리콘 반도체인 ASIC(주문형 반도체) 작동 상태와 동작 검증을 진행하고 있으며, 2026년 4분기부터는 이 실리콘 칩을 바탕으로 본격적인 인프라 평가에 나선다. 회사는 ASIC 탑재 시 일반 CPU 서버 대비 최대 10배에 달하는 검색 성능을 확보할 수 있을 것으로 보고 있다.
상용화 및 시장 진입 트랙도 구체화되고 있다. 국내 시장에서는 디노티시아가 자체 개발한 벡터 데이터베이스 소프트웨어 '씨홀스(Seahorse)'에 VDPU를 결합해 기업 맞춤형 AI 데이터 인프라 패키지로 공급할 계획이다. 해외 시장에서는 글로벌 서버 및 반도체 업체들과의 기술 검증(PoC) 영역을 계속 확장하며 파트너십을 다지고 있다.
정무경 디노티시아 대표는 AI 기술이 점차 장기 기억을 활용하는 에이전트 형태로 진화함에 따라 데이터 검색 인프라의 중요성이 더욱 커질 것으로 보고, Hardware와 Software를 아우르는 통합 솔루션을 지속해서 시장에 선보일 방침이다.
