AI 인프라를 둘러싼 기업과 공공기관들의 고민 축이 달라지고 있다. 얼마 전까지만 해도 최고 사양의 GPU를 얼마나 확보하느냐가 초점이었다면, 이제는 이미 확보한 자원을 어떻게 쪼개 쓰고 운영 비용을 줄일 것인가로 관심사가 옮겨가는 분위기다. 고가의 GPU 서버를 들여놓고도 제대로 활용하지 못해 놀리는 자원이 생기거나, 인력 부족으로 운영에 차질을 빚는 현장 애로가 수면 위로 올라온 영향이다.
AI 인프라 소프트웨어 기업 오케스트로 그룹이 최근 서울 코엑스에서 연 기술 컨퍼런스 ‘OPUS 2026’ 현장 상담 및 참가자 설문 결과를 통해 이 같은 시장 흐름을 확인했다고 밝혔다.
지난 7월 28일 열린 해당 컨퍼런스에는 금융권과 제조업, 통신사, IT 서비스 기업, 공공기관 등 다양한 분야의 IT 관계자 2000여명이 대거 몰렸다. 현장에서 이뤄진 기술 상담에서는 단순 인프라 구축 문의를 넘어 GPU 자원의 효율적 배분, AI 추론 시 발생하는 응답 지연 개선, 복잡한 멀티 추론 환경의 통합 운영 방안에 대한 질문이 이어졌다.
행사 직후 컨퍼런스에 참석한 기업 및 공공기관 IT 담당자 1천703명을 대상으로 진행한 설문 조사 결과는 이러한 현장 분위기를 그대로 반영한다.
AI 인프라를 구축하고 운영할 때 가장 큰 부담으로 작용하는 요인을 묻는 항목에서 응답자의 36.9%가 'GPU 서버 도입 및 유지 비용'을 꼽았다. 이어 '전문 인력 부족'이 36.5%로 사실상 비등한 비중을 차지했다. '구축 및 운영 경험 부족'을 선택한 응답자도 22.2%에 달했다. AI 인프라 도입 과정에서 막대한 비용 부담과 함께 이를 전담할 전문 인프라 엔지니어의 부재가 기업들의 발목을 잡고 있는 셈이다.
기업들이 AI 추론 플랫폼을 선택할 때 무엇을 가장 중요하게 보는지에 대한 조사에서도 효율성과 성능이 최우선 기준으로 나타났다.
'추론 성능 및 빠른 응답 속도'를 선택한 비율이 20.2%로 가장 높았으며, 'GPU 활용률 및 비용 효율성'이 19.2%로 뒤를 이었다. '기존 인프라 및 클라우드 연계성'도 16.7%를 차지했다. 서비스 서비스 품질을 보장하면서도 기존 시스템과 매끄럽게 연결되는 고효율 솔루션에 대한 목마름이 읽히는 대목이다.
오케스트로는 이러한 시장 수요에 맞춰 자사의 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO AI)’ 고도화에 속도를 낸다. 분산 서빙 기반의 추론 최적화 기술과 함께 워크로드 상태에 따라 GPU 자원을 실시간으로 재배치하는 기능을 강화한다는 구상이다.
김민준 오케스트로 그룹 의장은 현장에서 확인된 기업들의 공통 과제를 바탕으로 AI 서비스의 실제 운영 효율을 극대화할 수 있는 인프라 소프트웨어 기술을 지속해서 선보이겠다고 전했다.
비용과 인력난이라는 이중고 속에서 AI 도입을 추진 중인 기업들이 늘어남에 따라, 인프라 가동률을 끌어올리기 위한 소프트웨어 솔루션 경쟁은 한층 치열해질 것으로 보인다.
