인공지능(AI)을 실무에 도입한 기업들이 월말 청구서를 받아 들고 당황하는 일이 잦아졌다. 챗봇 같은 화면 앞 도구는 퇴근 시간이 지나면 멈추지만, 백그라운드에서 돌아가는 자동화 시스템이나 산업 현장의 로봇은 24시간 내내 API(응용프로그램 인터페이스)를 호출하며 토큰을 깎아 먹는다. 사후에 지출 내역을 확인해 봐야 이미 나간 비용을 되돌릴 방법은 없다.
데이터 파운드리 스타트업 바운드포가 이 같은 토큰 지출 통제에 나섰다.
회사는 자사 AI 데이터 운영 플랫폼 ‘드로파이(DroPai)’에 AI 토큰 지출 관리 서비스 ‘파레토(Pareto)’를 새롭게 탑재했다고 12일 밝혔다. 기업이 사전에 설정한 예산 한도를 바탕으로 AI API 호출을 실행 직전에 점검하고, 기준을 넘어설 것으로 보이는 요청은 아예 발생 단계에서 차단하는 방식이다.
기존의 클라우드나 API 비용 관리는 대부분 사후 모니터링에 머물렀다. 한 달 치 사용량을 집계해 대시보드로 보여주거나, 예산 상한선에 도달했을 때 이메일 등으로 알림을 보내는 수준이었다. 하지만 24시간 자율 구동하는 에이전트 시스템에서는 알림을 확인하고 조치하기 직전 수 분 사이에도 수백만 건의 불필요한 토큰 비용이 발생할 수 있다.
파레토는 API 호출 길목에 가림막을 쳤다. 관리자가 정해 둔 부서별·프로젝트별 한도 규칙을 실시간 대조해 허용 범위를 넘긴 명령은 실행 자체를 막는다. 팀별 토큰 사용 추이와 이번 달 예상 청구액도 실시간으로 보여줘 각 조직이 잔여 예산에 맞춰 AI 호출 빈도를 조절할 수 있게 했다.
단순 차단에 그치지 않고 비용 누수 지점을 짚어내는 분석 엔진도 붙였다. 월간 호출 데이터를 바탕으로 △통신 오류 등으로 실패한 호출이 무한 반복되는 재시도 누적 △내용상 차이가 없는데도 중복 처리되는 반복 요청 △단순 분류나 텍스트 추출 작업에 최고 사양 거대 모델을 연결해 둔 과사양 호출 등을 자동으로 골라낸다. 굳이 비싼 모델을 쓰지 않아도 될 구간을 리포트로 안내해 모델 다이어트를 유도하는 셈이다.
이번 기능 추가는 현장 취재와 개발 과정에서 겪은 실제 병목에서 비롯됐다.
바운드포는 엔터프라이즈 환경에서 레거시 데이터를 AI 구동 환경으로 연결해 주는 플랫폼 드로파이를 서비스하고 있다. 특히 제조 라인이나 물류 현장에서 센서 데이터를 실시간 처리하는 피지컬 AI(Physical AI) 프로젝트를 진행하면서 비용 통제의 한계를 직접 체감했다. 장비와 디바이스가 쉼 없이 AI 모델과 통신하는 환경에서는 사후 정산 방식으로는 운영비를 방어하기 어려웠다.
황인호 바운드포 대표이사는 "파레토는 피지컬 AI 현장에서 직접 맞닥뜨린 비용 관리 문제를 해결하는 과정에서 나온 결과물"이라며 "로봇과 디바이스가 상시 AI를 호출하는 환경에서는 사후 분석만으로 한계가 뚜렷했다"고 설명했다.
이어 "현장에서 검증한 데이터 운영 구조를 제품화한 만큼, AI 데이터 파이프라인 관리부터 토큰 비용 통제까지 엔터프라이즈 AI 운영 전반을 묶는 체계를 완성해 나갈 것"이라고 덧붙였다.
바운드포는 파레토를 통해 엔터프라이즈 고객사가 AI 인프라를 확장하는 과정에서 겪는 예산 리스크를 줄이고, 데이터 구축부터 비용 효율화까지 포괄하는 데이터 운영 플랫폼으로서의 시장 입지를 다져갈 계획이다.
