글로벌 포털이나 빅테크 중심의 AI 검색 시장에 클라우드 에지 거인이 직접 판을 깔기 시작했다. 클라우드플레어(Cloudflare)가 자사 AI 서비스 플랫폼인 'AI Gateway'에 네이티브 웹 검색 API(Web Search API)를 연동한다고 발표했다.
검색 엔진 기술을 내재화하는 대신 유망한 검색 전문 스타트업들과 손을 잡는 방식을 취했다. 세라믹(Ceramic.ai), 엑사(Exa), 링크업(Linkup)이 첫 파트너로 이름을 올렸다. 개발자는 거대한 인프라나 별도 복잡한 파이프라인 구축 없이, AI 모델 추론 호출 단에서 곧바로 최신 웹 정보와 문맥을 연동해 쓸 수 있게 됐다.
AI 모델의 고질적인 한계로 꼽혀온 '컷오프(학습 시점 제한)' 문제가 이번 연동의 배경이다. 실시간으로 변하는 증시, 뉴스, 당일 업데이트된 개발자 API 문서처럼 고정 데이터셋으로는 답을 내기 어려운 영역에서 실시간 스니펫을 애플리케이션 문맥으로 실어 보낸다.
단순 데이터 수집을 넘어 에코시스템 내 지적재산권과 가이드라인 준수도 챙겼다. 연동된 파트너 검색 사업자의 크롤러는 클라우드플레어가 규정한 '검증된 봇(Verified bots)' 기준을 반드시 따라야 한다. 검색 응답 결과에는 크롤링한 원본 출처 링크가 항상 포함된다. 크롤러의 신원을 명확히 밝히고 각 웹사이트의 robots.txt 설정과 데이터 수집 정책을 준수하는 사업자만 파트너로 남겨두겠다는 방침이다.
AI Gateway는 개발자들에게 단일 관측 및 통제 지점 역할을 한다. 검색 기능이 Gateway 내부로 들어오면서 관측성 로그 기록, 중앙집중식 결제, 접근 제어, 보안 정책이 그대로 적용된다. 웹 검색으로 발생하는 비용은 기존 AI Gateway 크레딧에서 자동 차감되는 구조다.
중간 마진을 남기지 않는 가격 정책도 눈에 띈다. 클라우드플레어는 각 검색 파트너사의 API 정가에 별도의 추가 수수료나 마크업을 붙이지 않고 제공하기로 했다. 데이터 프라이버시가 민감한 기업 고객을 위해 데이터를 내부에 저장하지 않는(Non-retention) 파트너사 목록을 별도 표시하는 장치도 뒀다.
개발 환경에 따른 연결 방식도 다각화했다. 모바일 앱이나 일반 백엔드, 외부 서비스에서는 표준 REST 엔드포인트를 호출하면 된다. AI Gateway 인증 토큰과 함께 원하는 검색 제공자, 검색어, 필요 결과 건수 등을 요청 파라미터에 담아 보내는 방식이다.
서버리스 환경인 클라우드플레어 워커스(Workers)를 이용하는 개발자라면 전용 바인딩 기능을 통해 더 손쉽게 기능을 붙일 수 있다. 개발자가 기존에 갖고 있던 검색 제공자의 API 키를 그대로 활용하는 BYOK(Bring Your Own Key) 방식 역시 지원한다.
다음 단계는 네이티브 도구 모음(Server Tools) 탑재다. 클라우드플레어는 AI Gateway에 서버 도구 기능을 추가해 개발자가 개별 도구의 정의나 실행 제어 로직을 일일이 짜지 않아도 플랫폼 차원에서 알아서 수행하도록 구현할 예정이다. 이번에 연동된 웹 검색 기능은 이 서버 도구 생태계의 첫 핵심 기능으로 들어간다.
현재 새로운 웹 검색 연동 기능은 AI Gateway 플랫폼을 비롯해 독립 REST API, Workers 바인딩, 그리고 클라우드플레어 AI 플레이그라운드(AI Playground) 테스트 환경에서 즉시 이용할 수 있다.
